Informationstheorie

Kursbeschreibung

Die Vorlesung vermittelt die Grundlagen von Shannons Informations- und Codierungstheorie. Die wichtigsten Themen sind: Entropie, Information, Datenkompression, Kanalcodierung, Codes. Ziel der Vorlesung ist es, sowohl mit den theoretischen Grundlagen der Informationstheorie vertraut zu machen, als auch den praktischen Einsatz der Theorie anhand ausgewählter Beispiele aus der Datencodierung und Datenkompression zu illustrieren.

Ankündigungen

Neue Termine für die zweite und dritte Übung: 25.03. bzw. 08.04.

Vorlesungen

Datum	Inhalt der Vorlesung	Literatur
20.02.	Einführung, Beispiele für Codes (Wiederholcodes, (7,4)-Hamming-Code)	[M, Kapitel 1]
27.02.	Definition von Entropie, gemeinsamer Entropie, bedingter Entropie, wechselseitiger Information, KL-Divergenz. Eigenschaften und Zusammenhang dieser Grössen.	[CT, Kapitel 2], [M, Kapitel 2, 8]
05.03.	Codes (Quellcodes) und deren Eigenschaften, Codebäume, Kraft-Ungleichung, Optimalität von Codes, Schranken an die erwartete Länge	[CT, Kapitel 5], [M, Kapitel 5]
12.03.	Codes bzgl. falscher Verteilung. Huffman-Coding, Optimalität von Huffman-Codes.	[CT, Kapitel 5], [M, Kapitel 5]
19.03.	Kraft-Ungleichung für eindeutig decodierbare Codes Typische Mengen und Asymptotische Gleichverteilung. Shannon's Quellcodierungstheorem.	[CT, Kapitel 3], [M, Kapitel 4]
26.03.	Arithmetische Codes, Lempel-Ziv-Codes	[M, Kapitel 6], [CT, Kapitel 13]
02.04.	Kanäle und ihre Kapazitäten. Motivation Kanalcodierung, gemeinsame Typikalität	[M, Kapitel 6, 9], [CT, Kapitel 13, 7]

Übungsblätter

Übungsblatt 1, Lösungen zu Übungsblatt 1

Übungsblatt 2, Lösungen zu Übungsblatt 2

Übungsblatt 3, Lösungen zu Übungsblatt 3

Übungsblatt 4, Lösungen zu Übungsblatt 4

Übungsblatt 5, Lösungen zu Übungsblatt 5

Übungsblatt 6, Lösungen zu Übungsblatt 6

Übungsblatt 7

Materialien

Merkblatt Diskrete Wahrscheinlichkeitstheorie

Skript (vorläufige Version vom 02.04.2020, nicht gründlich Korrektur gelesen!)

Verwenden Sie Ihre nethz-Zugangsdaten für den Zugriff.

Slides und Videos

Zeiten und Räume

Vorlesung

Do 13-15 in ML F 36

Übung

Mi 15-17 (zweiwöchentlich) in HG D 7.1 .

Übungstermine: 04.03.; 25.03.; 08.04.; 22.04.; 06.05.; 20.05.

Leistungsbewertung

Es wird eine schriftliche Prüfung von 120 Minuten Dauer geben.

Literatur

[CT] T. Cover, J. Thomas. Elements of Information Theory. 2nd Edition. John Wiley, 2006.
[M] David J. C. MacKay. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
[S] C. E. Shannon. A Mathematical Theory of Communication. 1948.
[Mau] U. Maurer. Information und Kommunikation Vorlesungsskript, 2003

Kontakt

Dozent: Luis Haug

Assistent: Fabian Laumer