Kursbeschreibung

Die Vorlesung vermittelt die Grundlagen von Shannons Informations- und Codierungstheorie. Die wichtigsten Themen sind: Entropie, Information, Datenkompression, Kanalcodierung, Codes. Ziel der Vorlesung ist es, sowohl mit den theoretischen Grundlagen der Informationstheorie vertraut zu machen, als auch den praktischen Einsatz der Theorie anhand ausgewählter Beispiele aus der Datencodierung und Datenkompression zu illustrieren.

Ankündigungen

Vorlesungen

Datum Inhalt der Vorlesung Literatur
20.02. Einführung, Beispiele für Codes (Wiederholcodes, (7,4)-Hamming-Code) [M, Kapitel 1]
27.02. Definition von Entropie, gemeinsamer Entropie, bedingter Entropie, wechselseitiger Information, KL-Divergenz. Eigenschaften und Zusammenhang dieser Grössen. [CT, Kapitel 2], [M, Kapitel 2, 8]
05.03. Codes (Quellcodes) und deren Eigenschaften, Codebäume, Kraft-Ungleichung, Optimalität von Codes, Schranken an die erwartete Länge [CT, Kapitel 5], [M, Kapitel 5]
12.03. Codes bzgl. falscher Verteilung. Huffman-Coding, Optimalität von Huffman-Codes. [CT, Kapitel 5], [M, Kapitel 5]
19.03. Kraft-Ungleichung für eindeutig decodierbare Codes Typische Mengen und Asymptotische Gleichverteilung. Shannon's Quellcodierungstheorem. [CT, Kapitel 3], [M, Kapitel 4]
26.03. Arithmetische Codes, Lempel-Ziv-Codes [M, Kapitel 6], [CT, Kapitel 13]
02.04. Kanäle und ihre Kapazitäten. Motivation Kanalcodierung, gemeinsame Typikalität [M, Kapitel 6, 9], [CT, Kapitel 13, 7]

Übungsblätter

Materialien

Verwenden Sie Ihre nethz-Zugangsdaten für den Zugriff.

Slides und Videos

Slides und Videos

Zeiten und Räume

Vorlesung

Do 13-15 in ML F 36

Übung

Mi 15-17 (zweiwöchentlich) in HG D 7.1 .

Übungstermine: 04.03.; 25.03.; 08.04.; 22.04.; 06.05.; 20.05.

Leistungsbewertung

Es wird eine schriftliche Prüfung von 120 Minuten Dauer geben.

Literatur

Kontakt

Dozent: Luis Haug

Assistent: Fabian Laumer