Mathematik online lernen im Mathe-Forum. Nachhilfe online
Startseite » Forum » Startverteilung bei Markovketten

Startverteilung bei Markovketten

Universität / Fachhochschule

Finanzmathematik

Tags: Markov-Ketten

 
Antworten Neue Frage stellen Im Forum suchen
Neue Frage
Stochastikerin

Stochastikerin aktiv_icon

11:11 Uhr, 26.11.2021

Antworten
Nehmen wir an ich habe eine Markovkette mit Übergangsmatrix A=(A(i,j))i,jE der Markovkette (Xn)n.

Sei ν nun eine beliebige Startverteilung. Wie berechnet man nun zum Beispiel Pν(X6=3|X4=3)?

Stellen wir uns vor wir haben eine MK mit 3 Zuständen, und man kann von jedem Zustand in jeden Zustand übergehen.
Als Startverteilung nehmen wir einfach mal ν=(1,0,0) (Da sie ja beliebig ist, würde ich vllt ν=(ν1,ν2,ν3) nehmen.

jetzt ist ja die Wahrscheinlichkeit gesucht, dass wir von 33? gelangen, und zwar in 2 Schritten? (4-6) Ist das so richtig verstanden?

Wir sind im 4. Schritt praktisch bei Zustand 3(X4=3) und wollen im 6. Schritt wieder in Zustand 3 sein. Ich würde jetzt einfach alle möglichen Wege ausrechenn und aufsummieren.

Beispiel:
3-1-3
3-2-3
3-3-3

Wenn ja, in wiefern spielt hier die Startverteilung überhaupt eine Rolle? Muss die noch hinzugezogen werden?

Für alle, die mir helfen möchten (automatisch von OnlineMathe generiert):
"Ich möchte die Lösung in Zusammenarbeit mit anderen erstellen."
Neue Frage
Stochastikerin

Stochastikerin aktiv_icon

11:43 Uhr, 27.11.2021

Antworten
Irgendjemand der mir helfen kann?
Antwort
HAL9000

HAL9000 aktiv_icon

12:01 Uhr, 27.11.2021

Antworten
Für eine (zeitlich) homogene Markov-Kette mit Ü-Matrix A gilt für n>m

P(Xn=jXm=i)=P(Xn-m=jX0=i)=(An-m)i,j.

In deinem Fall ist n=6,m=4,i=3,j=3, d.h., berechne Matrix-Potenz A2, und nimmt dann das Element in Zeile i=3, Spalte j=3.

Startverteilung ν ist bei derartigen bedingten Verteilungen irrelevant: Die Information X4=3 (entspricht der Einpunktverteilung "Zustand 3" zum Zeitpunkt 4) überdeckt aufgrund der Markoveigenschaft komplett die dann obsolete Information der Startverteilung ν zum Zeitpunkt 0.

In deiner Schreibweise von oben wäre P(Xn-m=jX0=i)=Pδi(Xn-m=j) mit Einpunktverteilung δi im Zustand i.

Stochastikerin

Stochastikerin aktiv_icon

16:04 Uhr, 29.11.2021

Antworten
Vielen Dank :-)

Kann man das dann auch auf folgendes Beispiel anwenden:

Sei π eine eindeutige Gleichgewichtsverteilung.

Jetzt ist zu bestimmen:

Pπ=[X79=2]

(?)

Oder gibt es generell einen Weg, wie man Grenzwerte bestimmt?

Sei μ=μ'{1,2,3}. Zu bestimmen ist der limPμ[Xn=i] für i in dem Zustandsraum E (In diesem Fall {1,2,3})
Stochastikerin

Stochastikerin aktiv_icon

16:08 Uhr, 29.11.2021

Antworten
Es ist natürlich Pπ[X79=2]
Stochastikerin

Stochastikerin aktiv_icon

10:40 Uhr, 01.12.2021

Antworten
Irgendwer?
Stochastikerin

Stochastikerin aktiv_icon

11:13 Uhr, 01.12.2021

Antworten
Eine ähnliche Frage: Ich komme gerade mit den Begriffen "gleichgewichtsverteilung" und "invariante Verteilung" durcheinander.

Ich habe in einer Aufgabe folgende Übergangsmatrix:

A=(0010,20,20,60,50,30,2)

Jetzt lautet die Aufgabe:

Zeigen Sie, dass (Xn)n0 eine eindeutige Gleichgewichtsverteilung π besitzt und bestimmen Sie diese.

Ich habe also gerechnet:

πA=π mit der Eigenschaft, dass i=1nπi=1

Dann habe ich raus:

π=(23785262039)

Jetzt soll ich in einer anderen Aufgabe (Abgeänderte Übergangsmatrix) alle invarianten Verteilungen der Markovkette angeben.

Ich hätte jetzt hier wieder

πA=π gerechnet, aber irgendwie vermute ich, dass invariante Verteilungen Gleichgewichtsverteilungen sind
Antwort
HAL9000

HAL9000 aktiv_icon

13:57 Uhr, 01.12.2021

Antworten
Invariante bzw. stationäre Verteilung ist klar, aber der Begriff "Gleichgewichtsverteilung" im Zusammenhang mit Markovketten sagt mir nichts - wie ist der definiert?
Stochastikerin

Stochastikerin aktiv_icon

14:11 Uhr, 01.12.2021

Antworten
Wie folgt:

Ich hatte eben nur den Teil "Verteilung" gelesen und bin prompt von einer stationären Verteilung ausgegangen und habe diese bestimmt. Nun habe ich eben einen weiteren Aufgabenteil, wo ich explizit alle invarianten Verteilungen angeben soll, weshalb ich da etwas verwirrt war.





MK
Antwort
HAL9000

HAL9000 aktiv_icon

15:05 Uhr, 01.12.2021

Antworten
Gut, jetzt kann ich das einordnen: Bedingung (2.6) entspricht der Definition von "Irreduzibilität" einer Markovkette. Unter dieser Bedingung gibt es nur GENAU EINE invariante Verteilung, und die wird dann eben gemäß dieser Definition Gleichgewichtsverteilung genannt.

Sowas ähnliches hatte ich mir schon gedacht - ich war mir nur nicht sicher, ob zusätzlich für die Ü-Matrix nicht auch noch Aperiodizität gefordert wird: In dem Fall nennt man eine endliche Markovkette auch "ergodisch", und man hat nicht nur eine solche eindeutige invariante Verteilung, sondern zudem ja auch noch die Eigenschaft, dass mit einer BELIEBIGEN (!) Anfangsverteilung die Aufenthaltsverteilung zum Zeitpunkt n für n gegen diese invariante Verteilung konvergiert.


Das ist bei bloßer Irreduzibilität nicht der Fall: Nehmen wir den einfachen Fall von zwei Zuständen mit Ü-Matrix P=(0110) :

Bei Startverteilung (p,1-p) haben wir an den Folgezeitpunkten einen ständigen Wechsel zwischen den Aufenthaltsverteilungen (1-p,p) und (p,1-p), was nur im Fall p=12 Konvergenz bedeutet, in dem Fall sogar Konstantheit, und zwar mit der invarianten Verteilung (12,12), die man hier gemäß deiner Definition auch "Gleichgewichtsverteilung" nennen darf.

Stochastikerin

Stochastikerin aktiv_icon

15:42 Uhr, 01.12.2021

Antworten
ich habe folgende übergangsmatrix:

A=(0,0,10.2,0.2,0.60.5,0.3,0.2)

und soll eben zeigen, dass genau eine Gleichgewichtsverteilung π existiert und diese bestimmen.



Bedingung (2.6) entspricht der Definition von "Irreduzibilität" einer Markovkette. Unter dieser Bedingung gibt es nur GENAU EINE invariante Verteilung, und die wird dann eben gemäß dieser Definition Gleichgewichtsverteilung genannt.

Ich muss also zeigen, dass meine MK irreduzibel ist. Das ist hier der Fall. Jeder Zustand ist also von jedem anderen Zustand mit strikt positiver Wahrscheinlichkeit erreichbar sein.

Soll ich nun noch die invariante Verteilung bestimmen (mit meinen im vorherigen Beitrag genannten Bedingungen?)

Reden wir also von einer Gleichgewichtsverteilung, wenn irreduzibilität vorliegt und bestimmen dann die invariante Verteilung?
Antwort
HAL9000

HAL9000 aktiv_icon

15:51 Uhr, 01.12.2021

Antworten
> Reden wir also von einer Gleichgewichtsverteilung, wenn irreduzibilität vorliegt und bestimmen dann die invariante Verteilung?

So würde ich das gemäß obiger Definition sehen, ja.

> Soll ich nun noch die invariante Verteilung bestimmen (mit meinen im vorherigen Beitrag genannten Bedingungen?)

Ja. Und da die Matrix (wie hier) irreduzibel ist, sollte die Rechnung zwangsläufig nur eben genau eine Lösung ergeben. Wenn nicht, dann muss zwangsläufig irgendwo was schiefgegangen sein.


P.S.: Deine Kette ist auch aperiodisch, insgesamt also ergodisch.
Stochastikerin

Stochastikerin aktiv_icon

16:00 Uhr, 01.12.2021

Antworten
Ahh, dann macht die Definition mit der Aufgabenstellung auch in sofern sind, da in der anderen Aufgabe die MK nicht irreduzibel ist.
So kann man in Zustand 1,2 und 3 beliebig hin und her, allerdings kommt man nicht in Zustand 4 und 5. (Hier wurde die MK um 2 Zustände, die eine eigene Klasse bilden, erweitert).

Deswegen sind hier alle! Invarianten Verteilungen gesucht, während es bei einer Gleichgewichtsverteilung nur eine sein kann, da irreduzibel.
Stochastikerin

Stochastikerin aktiv_icon

16:01 Uhr, 01.12.2021

Antworten
Ahh, dann macht die Definition mit der Aufgabenstellung auch in sofern sind, da in der anderen Aufgabe die MK nicht irreduzibel ist.
So kann man in Zustand 1,2 und 3 beliebig hin und her, allerdings kommt man nicht in Zustand 4 und 5. (Hier wurde die MK um 2 Zustände, die eine eigene Klasse bilden, erweitert).

Deswegen sind hier alle! Invarianten Verteilungen gesucht, während es bei einer Gleichgewichtsverteilung nur eine sein kann, da irreduzibel.

Edit: Periodizität kann ich ebenfalls zeigen, der Begriff ergodisch in dem Zusammenhang war mir neu. Den behalte ich.
Antwort
HAL9000

HAL9000 aktiv_icon

16:04 Uhr, 01.12.2021

Antworten
Testfrage: Warum ist deine Kette aperiodisch? Z.B. kommt man ja nicht in einem Schritt von 1 nach 2 - was antwortest du auf einen solchen Zweifel?
Stochastikerin

Stochastikerin aktiv_icon

16:04 Uhr, 01.12.2021

Antworten
Nun ist noch offen, wie ich folgendes berechne (s.o)



Sei π eine eindeutige Gleichgewichtsverteilung.

Jetzt ist zu bestimmen:

Pπ[X79=2]

(?)

Oder gibt es generell einen Weg, wie man Grenzwerte bestimmt?

Sei mu=mu′{1,2,3}. Zu bestimmen ist der limPμ[Xn=i] für i in dem Zustandsraum E (In diesem Fall {1,2,3})

Für ersteres:

Pπ[X79=2]

Wir haben eine Gleichgewichtsverteilung. Hier die Invariante Verteilung π=(23785262039)

Jetzt suchen wir die Wahrscheinlichkeit, im 79. Schritt in Zustand 2 zu sein. Dazu müssten wir ja alle Möglichkeiten aufzählen.

Kann man auch hier mit der Potenz der Matrix gehen?
Antwort
HAL9000

HAL9000 aktiv_icon

16:11 Uhr, 01.12.2021

Antworten
Das ist eine Fangfrage: Wenn du mit der invarianten Verteilung startest, dann hast du ZU JEDEM Zeitpunkt als Aufenthaltsverteilung der Markovkette jene invariante Verteilung! Es gilt also schlicht

Pπ[Xn=i]=π(i) für ALLE n1 und Zustände i,


speziell auch Pπ[X79=2]=π(2)=526 .


Kannst du dir auch rechnerisch überlegen: Bei Startverteilung σ ist die Aufenthaltsverteilung zum Zeitpunkt n gleich σAn.

Für invariante Verteilungen π gilt ja nun πA=π, und somit auch πAn=(πA)An-1=πAn-1=πAn-2==πA=π.
Stochastikerin

Stochastikerin aktiv_icon

16:15 Uhr, 01.12.2021

Antworten
So wie es in der Definition beschrieben ist.. Verstehe!

Zu der Testfrage:

Also ich kenne die Definition der Periodizität mit dem ggT.

Jetzt gibt es ja aber nur die Möglichkeit, von 11 zu wandern, wenn ich 1-2-1 lang laufe.

Hier wäre es nicht möglich, einen ggT zu bilden. Gibt es dann vielleicht eine Ausnahme?

Anderes Beispiel:

Von Zustand 2 in Zustand 2:

2-1-3-2(3 Schritte)
2-2(1 Schritt)
2-3-2(2 Schritte)

Hier ist der ggT =1, weshalb hier die MK aperiodisch ist.




Antwort
HAL9000

HAL9000 aktiv_icon

16:27 Uhr, 01.12.2021

Antworten
> Jetzt gibt es ja aber nur die Möglichkeit, von 1?1 zu wandern, wenn ich 1-2-1 lang laufe.

Hmm, laut Ü-Matrix eher über 1-3-1, denn 1-2 ist ja auch nicht gestattet. Aber richtig ist, dass es in 2 Schritten geht.

> Hier wäre es nicht möglich, einen ggT zu bilden.

Falsche Schlussweise. Richtig geht es so: Es ist ja auch möglich in 3 Schritten, beispielsweise 1-3-3-1. Und da ggT(2,3)=1 ist, liegt Periode 1 für Zustand 1 vor.


Eigentlich kann man die Sache auch abkürzen: In einer Menge von verbundenen Zuständen - im Falle der Irreduzibilität ist das sogar die Gesamtmenge aller Zustände - besitzen alle Zustände dieselbe Periode. Wenn - wie hier - Zustand 2 oder auch 3 ganz offensichtlich Periode 1 besitzt, dann gilt das auch für alle anderen Zustände dieser irreduziblen Markovkette.

Stochastikerin

Stochastikerin aktiv_icon

16:29 Uhr, 01.12.2021

Antworten
Sorry, meine natürlich 1-3-1!

Aber okay, dann habe ich auch das verstanden :-)

Fehlt nur noch der limes (s.o)
Antwort
HAL9000

HAL9000 aktiv_icon

16:38 Uhr, 01.12.2021

Antworten
Welcher limes?
Stochastikerin

Stochastikerin aktiv_icon

16:41 Uhr, 01.12.2021

Antworten
Sei μ=μ'{1,2,3}. Zu bestimmen ist der limPμ[Xn=i] für i in dem Zustandsraum E (In diesem Fall {1,2,3})

Okay. Jetzt ist μ ja nicht eine Invariante Verteilung, weshalb hier die Definition von oben nicht mehr gilt. Deswegen fehlt auch hier der 1. Schritt für mich.
Antwort
HAL9000

HAL9000 aktiv_icon

18:06 Uhr, 01.12.2021

Antworten
Lies dir nochmal den zweiten Absatz meines Beitrags von heute 15:05 durch...
Diese Frage wurde automatisch geschlossen, da der Fragesteller kein Interesse mehr an der Frage gezeigt hat.