Mathematik online lernen im Mathe-Forum. Nachhilfe online

Startseite » Forum » Beweis Entropie

Beweis Entropie

Universität / Fachhochschule

Erwartungswert

Tags: Beweis, Entropie, Erwartungswert

gnobblob aktiv_icon

22:23 Uhr, 16.04.2014

Hallo, ich habe heute in der Vorlesung einen Beweis gesehen, von dem ich gerne wüsste, ob er so korrekt ist, oder man doch einen etwas ausführlicheren Beweis führen muss.

Eine Funktion

H (X)

ist gegeben durch

H (X) := - \sum_{n = 1}^{N} (p_{n} * l o g p_{n})

Mit

0 \leq p_{n} \leq 1

und

\sum_{n = 1}^{N} p_{n} = 1

Nun ist eine Folgerung, dass

H (X) \geq 0

ist.

Der Beweis sah so aus:

H (X) = - \sum_{n = 1}^{N} (p_{n} * l o g p_{n}) \geq - \sum_{n = 1}^{N} (p_{n} * l o g 1) = 0

w.z.b.w.

Nun dachte ich, dass man nicht einfach in jedem Logarithmus einfach eine

1

einsetzen kann die restlichen

p_{n}

aber variabel lässt.

Ich hätte den Beweis in 3 Teile zerlegt.

1.)ein beliebiges

p_{n}

gleich

1

setzen. Dann fällt die summe bis auf ein Glied weg, weil die restlichen

p_{n} = 0

sind.(Wir haben in der Vorlesung

0 * l o g (0) = 0

gesetzt).

H (X) = - \sum_{n = 1}^{N} (p_{n} * l o g p_{n}) \geq - 1 * l o g (1) = 0

Das Ergebnis wäre bis jetzt trotzdem das Gleiche.

2.) Alle

p_{n} = 0

setzen.

H (X) = - \sum_{n = 1}^{N} (p_{n} * l o g p_{n}) \geq - \sum_{n = 1}^{N} (0 * l o g 0) = 0

3.) Mindestens für zwei

p_{n}

gilt:

0 \leq p_{n} \leq 1

Mit den so definierten Wahrscheinlichkeiten (

p_{n}

) wäre

l o g (p_{n}) < 0

und die Summe

- \sum_{n = 1}^{N} (p_{n} * l o g p_{n})

wäre größer gleich null.

Fertig:-)

Ich wüsste gerne ob man den Logarithmus nach oben abschätzen darf, die

p_{n}

jedoch "unberührt" lässt und ob mein "Beweis" richtig oder völliger Quatsch ist.

Danke im Voraus.

Für alle, die mir helfen möchten (automatisch von OnlineMathe generiert):
"Ich möchte die Lösung in Zusammenarbeit mit anderen erstellen."

Hierzu passend bei OnlineMathe:

Zu diesem Thema passende Musteraufgaben einblenden

anonymous

23:23 Uhr, 16.04.2014

Hallo

a)

Als erstes müsstest du klarstellen, welchen Logarithmus du meinst. Also welche Basis

b

der

{log}_{b}

haben soll.

Ich nehme jetzt mal an, dass eine Basis

b > 1

gemeint ist.

b)

Dein 'Beweis' ist mindestens mir unverständlich.

b . 1)

>

unter

1 .)

nimmst du an, "ein beliebiges

p_{n} = 1

setzen"

>

unter

2 .)

nimmst du an, "alle

p_{n} = 0

setzen".
Das ist so weit schon ein Widerspruch.

b . 2)

Unter

2 .)

nimmst du an, "alle

p_{n}

=0" setzen.
Das steht im Widerspruch zur Aufgabenstellung und Annahme

\sum p_{n} = 1

b . 3)

Unter

3 .)

nimmst du an, "mindestens für zwei

p_{n}

gilt:

0 \leq p_{n} \leq

1"
Das steht aber schon in der Aufgabenstellung für ALLE

p_{n}

als gegeben.

c)

Soweit ich es verstehe, ist der Beweis doch ganz einfach:
Wenn

0 \leq p_{n} \leq 1

Dann ist der

log (p_{n}) \leq 0

(Voraussetzung wie gesagt: Basis

b > 1)

Dann ist

p_{n} \cdot log (p_{n}) \leq 0

Wenn jeder einzelne Summand kleiner (gleich) NULL ist, dann ist auch die ganze Summe

\leq

NULL, also:

\sum p_{n} \cdot log (p_{n}) \leq 0

Ganze Gleichung mal

(- 1) :

- \sum p_{n} \cdot log (p_{n}) \geq 0

gnobblob aktiv_icon

10:34 Uhr, 17.04.2014

Vielen Dank für die schnelle Antwort.

Die Basis

b

ist größer Null (

= 2

).

Der Beweis von dir leuchtet mir ein.
Aber wie sieht es mit dem 'Beweis'

H (X) = - \sum_{n = 0}^{N} (p_{n} * l o g_{2} (p_{n})) \geq - \sum_{n = 0}^{N} (p_{n} * l o g_{2} (1)) = 0

aus?

Ist der richtig? Mir gefiel hier nicht, dass ich den Logaritmus nach oben abschätze in dem ich

l o g_{2} (p_{n}) = l o g (1)

setze, also

p_{n} = 1

setze,die restlichen

p_{n}

vor dem

l o g_{2} ()

'unberührt' lasse.

Das widerspricht meiner Meinung nach der Voraussetzung

\sum_{n = 0}^{N} p_{n} = 1

DrBoogie aktiv_icon

12:00 Uhr, 17.04.2014

"Mir gefiel hier nicht, dass ich den Logaritmus nach oben abschätze in dem ich

\log_{2} (p_{n}) = l o g (1)

setze, also

p_{n} = 1

setze,die restlichen

p_{n}

vor dem

\log_{2} ()

'unberührt' lasse."

Schwer zu verstehen, was Dir dabei nicht gefällt. Du weißt doch, dass aus

0 \leq a \leq b

und

c > 0

die Ungleichung

a c \leq b c

folgt?
Die Ungleichung

- p_{n} \log_{2} (p_{n}) \geq - p_{n} \log_{2} (1)

ist auch von der Form

a c \leq b c

mit

c = p_{n}

a = 0 = - \log_{2} (1)

b = - \log_{2} (p_{n})

gnobblob aktiv_icon

13:19 Uhr, 17.04.2014

"Schwer zu verstehen, was Dir dabei nicht gefällt".

"Das widerspricht meiner Meinung nach der Voraussetzung

\sum_{n = 0}^{N} (P_{n}) = 1

."

---¿¿also ist es in Ordnung ein

p_{n}

zu verändern (die obere Grenze einzusetzen) und das andere

p_{n}

nicht??---

aber danke für die ausführliche Begründung

gnobblob aktiv_icon

13:19 Uhr, 17.04.2014

"Schwer zu verstehen, was Dir dabei nicht gefällt".

"Das widerspricht meiner Meinung nach der Voraussetzung

\sum_{n = 0}^{N} (P_{n}) = 1

."

---¿¿also ist es in Ordnung ein

p_{n}

zu verändern (die obere Grenze einzusetzen) und das andere

p_{n}

nicht??---

aber danke für die ausführliche Begründung

DrBoogie aktiv_icon

13:35 Uhr, 17.04.2014

"Das widerspricht meiner Meinung nach der Voraussetzung..."

Sorry, ich sehe keine Widerspruch. Bzw. verstehe auch nicht, was genau der Voraussetzung widerspricht. Die Abschätzung? Sie hat doch mit der Voraussetzung gar nicht zu tun. Die Ungleichung

- p_{n} \log (p_{n}) \geq 0

gilt für alle

p_{n}

aus

(0, 1)

unabhängig davon, was ihre Summe macht.

Diese Frage wurde automatisch geschlossen, da der Fragesteller kein Interesse mehr an der Frage gezeigt hat.

1158826

1158690

	Status: nicht eingeloggt	Noch nicht registriert?