Markoffsche Entscheidungsprozesse

Ein Spiel mit zwei möglichen Spielausgängen (Gewinn/Verlust) werde beschrieben durch eine Folge unabhängiger, identisch verteilter Zva (Z_n) auf (Ω, ƣ, P) mit Werten in {−1,+1}, so daß P(Z_n = 1) = p, P(Z_n = −1) = q = 1 − p, 0 < p < 1. Dabei kann man sich Z_n als den Gewinn beim n-ten Spiel vorstellen, wenn man immer einen Einheitseinsatz von 1 DM wählt. Das Spiel heißt dann fair, falls p = 1/2, und subfair, falls p ≤ 1/2 gilt.

Mit einer Markoff-Kette läßt sich der zeitliche Verlauf eines Systems beschreiben, bei dem Sprünge von einem Zustand i in einen Zustand j mit der W. p_ij stattfinden können. Sind die Zustände zu verschiedenen Zeitpunkten stochastisch unabhängig, so hängen die p_ij nicht von i ab. Markoff-Ketten können deshalb als eine Verallgemeinerung des Begriffs einer unabhängigen Folge von Zva (X_n) angesehen werden. Bei Markoff-Ketten sind die (X_n) durch Übergangswahrscheinlichkeiten p_ij miteinander verkettet.

Es sollen nun Modelle studiert werden, bei denen man die Übergangswahrscheinlichkeiten steuern kann. Befindet sich das System im Zustand i , so liegt eine Familie van Ü-W. {(p_ij(a) , j ε S ) , a ε A(i)} vor. Dabei wird der Parameter a als Aktion interpretiert. Erst nach der Auswahl einer Aktion sind die Ü-W. festgelegt. Das Ergreifen einer Aktion a im Zustand i wird dabei durch sins Funktion r(i,a) bewertet. Ziel ist es, die Auswahl der Aktionen so vorzunehmen, daß ein gewisses Zielfunktional, das als erwarteter Gesamtgewinn interpretiert werden kann, maximiert wird. Das zugrundeliegende sogenannte Markoffsche Entscheidungsmodell ist durch ein Tupel M = (S,A,p,r,u,β) gegeben, wobei die einzelnen Größen die folgende Bedeutung haben.