Stochastische dynamische Optimierung

Es sollen nun Modelle studiert werden, bei denen man die Übergangswahrscheinlichkeiten steuern kann. Befindet sich das System im Zustand i , so liegt eine Familie van Ü-W. {(p_ij(a) , j ε S ) , a ε A(i)} vor. Dabei wird der Parameter a als Aktion interpretiert. Erst nach der Auswahl einer Aktion sind die Ü-W. festgelegt. Das Ergreifen einer Aktion a im Zustand i wird dabei durch sins Funktion r(i,a) bewertet. Ziel ist es, die Auswahl der Aktionen so vorzunehmen, daß ein gewisses Zielfunktional, das als erwarteter Gesamtgewinn interpretiert werden kann, maximiert wird. Das zugrundeliegende sogenannte Markoffsche Entscheidungsmodell ist durch ein Tupel M = (S,A,p,r,u,β) gegeben, wobei die einzelnen Größen die folgende Bedeutung haben.