4. Lineare Methoden für Klassifizierungsprobleme und SVMs

Das Kapitel beschäftigt sich mit Algorithmen für Klassifikationsprobleme, bei welchen sich eine optimale Diskriminantenfunktion linear im feature-Vektor X schreiben lässt. Konkret werden die Lineare Diskriminanzanalyse, logistische Regression sowie die Methode der Separierenden Hyperebenen betrachtet, die drei sehr verschiedenen Ansätze entsprechen, wie Klassifikationsprobleme gelöst werden können. Wir zeigen jeweils deren Vorgehen anhand von Beispielen auf und stellen theoretische Resultate vor. In allen drei Fällen gibt es direkt motiviert durch den Ansatz außerdem Erweiterungen der Modellannahmen, die zu komplexeren Modellen führen. Im Falle der Diskriminanzanalyse führt dies direkt zur quadratischen Diskriminanzanalyse; bei der logistischen Regression motivieren wir eine mögliche Erweiterung durch eine komplexere Wahl des feature-Vektors. Die separierenden Hyperebenen werden erweitert zur sogenannten Support Vector Machine, die mit Ihrer Herleitung, Beispielen und theoretischen Betrachtungen einen Großteil des Kapitels einnimmt.