Was ist Entropie?

Frage: Was ist Entropie? Bitte einfach erklärt! Von: E.

Die Antwort von Prof. Wolfgang Woess nimmt auf die Entropie im Sinne der Informationstheorie Bezug.

Antwort: Entropie ist ein Mass für Infomationsgehalt, oder gleichwertig dazu, für Unsicherheit (wenn ich bei bekannt hoher Unsicherheit die richtige Antwort kenne/errate/bekanntgebe, so hat dies einen hohen Informationsgehalt; wenn die Unsicherheit gering ist, ist auch der Informationsgehalt der richtigen Antwort gering). Im Folgenden ist log stets der Logarithmus zur Basis 2 (also log_2 oder ld).
 Entropieformel von Shannon:
Ist p = (p_1, p_2, ..., p_m) eine Wahrscheinlichkeistverteilung, (also nichtnegative Zahlen mit Summe 1) so ist deren Entropie H(p) = - p_1 log(p_1) - p_2 log(p_2) - ... - p_m log (p_m)
Dabei ist die Definition 0 log(0) = 0 sinnvoll. Masseinheit ist "bit".
Wenn wir bei festem m die Verteilung p variieren, wird H(p) für die Gleichverteilung am größten, also wenn p_i = 1/m für jedes i. Am kleinsten wird H(p) wenn p = (1,0,0,...0) oder eine andere Anordnung dieser Zahlen.
Interpertation: unter gleichwahrscheinlichen Ergebnissen ist eine Vorhersage (Erraten) am unsichersten. Im Fall p=(1,0,...0) gibt es überhaupt keine Unsicherheit, ich rate i=1, und das ist richtig.
Motivation für die Formel für H(p): Zuerst für Gleichverteilung mit m=2^r, 2er-Potenz. zB: m=32 (r=5)
Mein Gegenüber denkt sich eine Zahl zwischen 1 und 32. Alle Zahlen sind gleichwahrscheinlich. Ich darf ihm Fragen nach der Zahl stellen, die er nur mit "ja" oder "nein" beantworten kann. Wieviele Fragen muss ich stellen ? Lösung: r Fragen.
In unserem Fall: 1. Frage "Liegt die Zahl zwischen 1 und 16 ?"
Durch die Antwort wird der mögliche Fragenbereich halbiert.
Die jeweils nachste Frage ist: "Liegt die Zahl in der unteren Hälfte des bereits bekannten Bereichs ?" Nach 5 Fragen (allgemein r) bin ich am Ziel.
Besser geht es nicht. Daher: Informations- (Unsicherheits-)gehalt der Gleichverteilung ist r = log_2 m
Die gleiche Formel stellt sich bei vernünftigen Axiomen auch als sinnvoll heraus, wenn wir es mit der Gleichverteilung zu tun haben, aber m nicht eine 2er-Potenz ist (die Interpretation "Anzahl der Fragen" ist dann aber nicht mehr sinnvoll).
Allgemeine Formel fuer H(p):
Wir können uns n (statt m) gleischwahrscheinliche Objekte (zB Zahlen) vorstellen, und diese in m Gruppen einteilen, wobei die i-te Gruppe n_i Elemente hat. Mein Gegenüber denkt sich eines der n Objekte, ich soll durch ja/nein-Fragen draufkommen, in welcher der Gruppen es sich befindet. Hier haben wir p_i= n_i/n (relative Gruppengröße) und sollten uns als Motivation zunächst die mittlere Anzahl der nötigen Fragen vorstellen. "Mittlere" bezieht sich auf Gewichtung je nach Gruppengröße, also Gewichtung mit p_i
Dann kommt man (mit noch etwas weiterer Mathematik) zur Formel von Shannon für die Entropie.

Für interessierte Leser kann ich ein altes Büchlein empfehlen:
Alfred Renyi, "Tagebuch über die Informationstheorie", Deutscher Verlag der Wissenschaften 1982.
(Es hat die Form eines Tagebuchs eines interessierten Studenten, also relativ informeller Stil)
Gut finde ich auch das Kapitel zum Thema im (alten) Buch von Renyi "Wahrscheinlichkeitstheorie", gleicher Verlag, 1962.
Das heutige Standardwerk für den Universitaetsbetrieb ist T.M. Cover - J. A. Thomas: "Elements of Information Theory", 2nd edition, Wiley, 2006.

Beantwortet von Prof. Wolgang Woess, Professor am Institut für Mathematische Strukturtheorie an der TU Graz.