Kursbeschreibung

Die Vorlesung vermittelt die Grundlagen von Shannons Informations- und Codierungstheorie. Die wichtigsten Themen sind: Entropie, Information, Datenkompression, Kanalcodierung, Codes. Ziel der Vorlesung ist es, sowohl mit den theoretischen Grundlagen der Informationstheorie vertraut zu machen, als auch den praktischen Einsatz der Theorie anhand ausgewählter Beispiele aus der Datencodierung und Datenkompression zu illustrieren.

Zeiten und Räume

Vorlesung

Do 13-15 in HG E 21

Übungen

ZeitRaumBemerkungen
Mi 15-17 (zweiwöchentlich) IFW C 42 deutschsprachig, Nachnamen A-K
Mi 15-17 (zweiwöchentlich) IFW C 35 englischsprachig, Nachnamen L-Z

Inhalte der einzelnen Vorlesungen

Datum Inhalt der Vorlesung Literatur
22.02. Einführung, Beispiele für Codes (Wiederholcodes, (7,4)-Hamming-Code) [M, Kapitel 1]
01.03. Definition von Entropie, gemeinsamer Entropie, bedingter Entropie, wechselseitiger Information. Eigenschaften und Zusammenhang dieser Grössen. [CT, Kapitel 2], [M, Kapitel 2, 8]
08.03. Definition der KL-Divergenz. Codes (Quellcodes) und deren Eigenschaften, Codebäume, Kraft-Ungleichung [CT, Kapitel 5], [M, Kapitel 5]
15.03. Optimalität von Codes, Schranken an die erwartete Länge, Codes bzgl. falscher Verteilung, Huffman-Coding [CT, Kapitel 5], [M, Kapitel 5]
22.03. Optimalität von Huffman-Codes. Kraft-Ungleichung für eindeutig decodierbare Codes. Typische Mengen und Asymptotische Gleichverteilung. [CT, Kapitel 3], [M, Kapitel 4, 6]
29.03. Shannon's Quellcodierungstheorem. Arithmetische Codes [M, Kapitel 4, 6], [CT, Kapitel ]
12.04. Arithmetische Codes (Fortsetzung). Lempel-Ziv-Codes [M, Kapitel 6], [CT, Kapitel 13]
19.04. Kanäle und ihre Kapazitäten. Motivation Kanalcodierung [M, Kapitel 9], [CT, Kapitel 7]
26.04. Codes und Raten von Codes. Gemeinsam typische Sequenzen und Gemeinsame Asymptotische Gleichverteilungz [M, Kapitel 9], [CT, Kapitel 7]
03.05. Shannons Kanalcodierungstheorem, Beweis des Erreichbarkeitsteils [M, Kapitel 10], [CT, Kapitel 7]
14.05. Beweis des Kanalcodierungstheorems (Fortsetzung); Fehlerbehaftete Kommunikation oberhalb der Kapazität [M, Kapitel 10], [CT, Kapitel 7]

Übungsblätter

Materialien

Kontakt

Dozent: Luis Haug

Assistenten: Fabian Frei, Dina Abdelhadi

Leistungsbewertung

Es wird eine schriftliche Prüfung von 120 Minuten Dauer geben. Während dem Semester können zudem für einen Teil der gestellten Übungsblätter Lösungen zur Benotung abgegeben werden; welche dies sein werden, wird rechtzeitig bekannt gegeben. Die dort erzielte Note trägt als Bonus mit einem Gewicht von 30% zur Endnote bei, falls sich dadurch die Endnote verbessert (d.h. die Endnote ist in dem Fall 70% Prüfungsnote + 30% Note für die Übungsblätter). Andernfalls ist die Endnote gleich der Prüfungsnote.

Siehe Eintrag im VVZ für weitere Informationen.

Literatur