Robuste Parameterschätzung

Beim praktischen Einsatz von HMMs steht man, wie generell im Bereich der statistischen Mustererkennung, dem Problem gegenüber, die Parameter des Modells aus den verfügbaren Trainingsbeispielen robust zu schätzen. Die Situation ist zwar nicht so extrem wie im Falle von n-Gramm-Modellen, für die man ohne geeignete Maßnahmen überhaupt keine sinnvollen Modelle erstellen könnte (vgl. Abschnitt 6.5). Allerdings wird man auch bei HMMs mit dem sogenannten sparse data problem1 konfrontiert, wenn man mit komplexeren Modellarchitekturen arbeitet. Die Wahrscheinlichkeit ist dann groß, dass sich Modellparameter entweder aus numerischen Gründen nicht mehr berechnen lassen, oder eine Überanpassung (engl. overfitting) des Modells an die betrachteten Beispieldaten eintritt. Dies kann im Extremfall dazu führen, dass die geschätzten Modelle die Stichprobe “auswendig gelernt” haben, d.h. nur noch bekannte Datenbeispiele beschreiben. Durch die begleitende Evaluation auf einer unabhängigen Kreuzvalidierungsstichprobe lässt sich ein solches Verhalten jedoch in der Regel diagnostizieren und der Trainingsprozess dann an einer geeigneten Stelle abbrechen.