Mustererkennung mit Markov-Modellen

Die Erfindung der ersten Rechenmaschinen und auch die Entwicklung der ersten elektronischen Universalrechenautomaten war getrieben von der Idee, den Menschen bei bestimmten Arbeitsabläufen zu entlasten. Man dachte damals allerdings tatsächlich “nur” an das Rechnen und noch keineswegs an Handreichungen im Haushalt. Die entwickelten Rechenmaschinen sollten also Aufgaben übernehmen, die der Mensch selbstverständlich auch zu erledigen vermochte, die aber durch ein automatisches System wesentlich ausdauernder und damit zuverlässiger und billiger ausgeführt werden können.

Die Interaktion mittels gesprochener Sprache stellt die vorherrschende Modalität zur Kommunikation von Menschen untereinander dar. Mit Hilfe sprachlicher Äußerungen können Emotionen vermittelt, Ironie zum Ausdruck gebracht, schlicht “Konversation” gemacht oder Informationen übermittelt werden. Dieser letzte Aspekt steht bei der automatischen Verarbeitung von Sprache bei weitem im Vordergrund. Mit gesprochener Sprache lassen sich Informationen einigermaßen mühelos und mit einer relativ hohen “Datenrate” von bis zu 250 Wörtern pro Minute vermitteln bzw. übertragen. Damit übertrifft diese Modalität prinzipiell alle anderen Kommunikationsmöglichkeiten des Menschen z.B. durch Gestik, Handschrift oder Tastatureingabe bezüglich Einfachheit der Anwendung und Effizienz. Daraus wird in der Literatur vielfach gefolgert, dass gesprochene Sprache auch die beste Lösung zur Kommunikation mit automatischen Systemen sei. Dies darf jedoch bezweifelt werden, wie die Vorstellung eines Großraumbüros, in dem alle Mitarbeiter auf ihre Rechner einreden, oder die nur per Sprache und nicht per einfachem Knopfdruck bedienbare Kaffeemaschine zeigen.

Viele in natürlichen Prozessen zu beobachtende Ereignisse unterliegen keiner klaren Gesetzmäßigkeit, sondern zeigen ein zufälliges Verhalten. Über einen einzelnen solchen Vorgang können daher keine Aussagen gemacht werden. Allerdings lassen sich auch bei zufälligen Prozessen gewisse Regelmäßigkeiten beobachten, wenn man ihr Verhalten in häufiger Wiederholung betrachtet und vom Einzelfall abstrahiert. Die Wahrscheinlichkeitsrechnung stellt zur Behandlung von Gesetzmäßigkeiten, die solchen zufälligen Vorgängen zugrundeliegen, die notwendigen mathematischen Modelle bereit. Die Statistik behandelt darüberhinaus das Problem, wie die Parameter solcher Modelle aus Beobachtungen abgeleitet werden können.

Im Bereich der Mustererkennung betrachtet man Signale häufig als das Produkt statistisch agierender Quellen. Das Ziel der Signalanalyse ist es daher, die statistischen Eigenschaften dieser angenommenen Signalquellen möglichst genau zu modellieren. Als Basis der Modellbildung stehen dabei lediglich die beobachteten Beispieldaten sowie einschränkende Annahmen über die Freiheitsgrade des Modells zur Verfügung. Das zu bestimmende Modell soll aber nicht nur die Generierung gewisser Daten möglichst exakt replizieren, sondern auch Ansatzpunkte zur Segmentierung der Signale in bedeutungstragende Einheiten liefern können.

Beim praktischen Einsatz von HMMs steht man, wie generell im Bereich der statistischen Mustererkennung, dem Problem gegenüber, die Parameter des Modells aus den verfügbaren Trainingsbeispielen robust zu schätzen. Die Situation ist zwar nicht so extrem wie im Falle von n-Gramm-Modellen, für die man ohne geeignete Maßnahmen überhaupt keine sinnvollen Modelle erstellen könnte (vgl. Abschnitt 6.5). Allerdings wird man auch bei HMMs mit dem sogenannten sparse data problem¹ konfrontiert, wenn man mit komplexeren Modellarchitekturen arbeitet. Die Wahrscheinlichkeit ist dann groß, dass sich Modellparameter entweder aus numerischen Gründen nicht mehr berechnen lassen, oder eine Überanpassung (engl. overfitting) des Modells an die betrachteten Beispieldaten eintritt. Dies kann im Extremfall dazu führen, dass die geschätzten Modelle die Stichprobe “auswendig gelernt” haben, d.h. nur noch bekannte Datenbeispiele beschreiben. Durch die begleitende Evaluation auf einer unabhängigen Kreuzvalidierungsstichprobe lässt sich ein solches Verhalten jedoch in der Regel diagnostizieren und der Trainingsprozess dann an einer geeigneten Stelle abbrechen.

Mit dem Viterbi-Algorithmus wurde in Abschnitt 5.6 eine Dekodierungsvorschrift für HMMs vorgestellt, und auch zur Auswertung von n-Gramm-Modellen existieren Algorithmen wie z.B. das auf den Seiten 110ff beschriebene sogenannte backing-off. Allerdings stellen diese Methoden nur das Grundgerüst dar, auf dem aufbauend Algorithmen für die effiziente und integrierte Auswertung von Markov-Modellen in der Praxis entwickelt werden.

Sowohl HMMs als auch n-Gramm-Modelle werden normalerweise unter Verwendung einer Trainingsstichprobe erstellt und anschließend zur Segmentierung neuer Daten eingesetzt. Diese sind per definitionem nicht Teil der Trainingsbeispiele und können das in praktischen Anwendungen auch nicht sein. Die charakteristischen Eigenschaften dieser Testdaten können daher auf der Basis des Trainingsmaterials lediglich bis zu einem gewissen Grad vorhergesagt werden. Im allgemeinen werden daher immer Unterschiede zwischen Trainings- und Testmaterial auftreten, die von den erstellten statistischen Modellen nicht erfasst werden können und letztendlich die Qualität der erzielten Ergebnisse beeinträchtigen.

Obwohl schon eine Reihe kommerzieller Spracherkennungssysteme auf dem Markt verfügbar sind, sollte das Problem der automatischen Erkennung gesprochener Sprache noch keineswegs als gelöst angesehen werden, auch wenn die Medien und selbst einzelne Forscher gelegentlich diesen Eindruck erwecken. Da inzwischen eine Vielzahl von Techniken erforderlich sind, um ein konkurrenzfähiges Spracherkennungssystem zu erstellen, gibt es nur ganz wenige Systeme, die sich an der Spitze der internationalen Forschung behaupten können.

Bei HMM-Anwendungen in der Bioinformatik gewinnt man den Eindruck, dass dort noch das Bestreben besteht, möglichst viele Details der Modelle durch Expertenwissen zu beeinflussen, d.h. von Hand heuristisch festzulegen. Dies mag für die trotz der nahezu abgeschlossenen Sequenzierung des menschlichen Genoms immer noch an chronischem Datenmangel leidende Disziplin auch die aktuell einzige aussichtsreiche Methode darstellen.