Kursbeschreibung

Die Vorlesung vermittelt die Grundlagen von Shannons Informations- und Codierungstheorie. Die wichtigsten Themen sind: Entropie, Information, Datenkompression, Kanalcodierung, Codes. Ziel der Vorlesung ist es, sowohl mit den theoretischen Grundlagen der Informationstheorie vertraut zu machen, als auch den praktischen Einsatz der Theorie anhand ausgewählter Beispiele aus der Datencodierung und -kompression zu illustrieren.

Kontakt

Inhalt

  • Einführung und Motivation
  • Grundlagen der Wahrscheinlichkeit
  • Entropie und Information
  • Asymptotische Äquipartition und typische Sequenzen
  • Shannons Quellcodierungstheorem
  • Kanalkapazität und Kanalcodierung
  • Shannons Kanalcodierungstheorem

Kursdetails

Leistungsbewertung

Siehe Eintrag im VVZ.

Ankündigungen

Inhalt der einzelnen Vorlesungen

Datum Inhalt der Vorlesung Zugehörige Literatur
23.02. Einführung, Beispiele für Codes (Wiederholcodes, (7,4)-Hamming-Code) [M, Kapitel 1]
02.03. Definition von Entropie, gemeinsamer Entropie, bedingter Entropie, gegenseitiger Information, Kullback-Leibler-Divergenz. Eigenschaften und Zusammenhang dieser Grössen. [CT, Kapitel 2], [M, Kapitel 2, 8]
09.03. Codes (Quellcodes) und deren Eigenschaften, Codebäume, Kraft-Ungleichung, Schranken an die erwartete Länge [CT, Kapitel 5], [M, Kapitel 5]
16.03. Schranken an die erwartete Länge, Codes bzgl. falscher Verteilung, Huffman-Coding, Optimalität von Huffman-Coding, Kraft-Ungleichung für eindeutig decodierbare Codes [CT, Kapitel 5], [M, Kapitel 5]
23.03. Typische Mengen und Asymptotische Gleichverteilung, Shannons Quellcodierungstheorem. Arithmetische Codes [CT, Kapitel 3], [M, Kapitel 4, 6]
30.03. Arithmetische Codes (Fortsetzung), Vgl. mit Huffman-Codes. Lempel-Ziv-Codes. [M, Kapitel 6], [CT, Kapitel 13]
06.04. Lempel-Ziv-Codes (Fortsetzung). Kanäle und ihre Kapazität [M, Kapitel 9], [CT, Kapitel 7]
13.04. Codes und Raten von Codes. Gemeinsam typische Sequenzen und Gemeinsame Asymptotische Gleichverteilung [M, Kapitel 9], [CT, Kapitel 7]
27.04. Shannons Kanalcodierungstheorem, Beweis des Erreichbarkeitsteils [M, Kapitel 10], [CT, Kapitel 7]
04.05. Beweis des Kanalscodierungstheorems (Fortsetzung) [M, Kapitel 10], [CT, Kapitel 7]
11.05. Fehlerbehaftete Kommunikation oberhalb der Kapazität. Lineare Codes [M, Kapitel 10, 1]
18.05. Hamming-Codes, lineare Codes via Polynomevaluation, Reed-Solomon-Codes [Mau, Kapitel 5]
01.06. Reed-Solomon-Codes (Fortsetzung). Ausblick Variational Inference. [Mau, Kapitel 5]

Übungsblätter

Materialien

Prüfungen vergangener Jahre

Literatur


Valid XHTML 1.0 Transitional