5. Support-Vektor-Maschinen

In diesem Kapitel sind wieder die Merkmalsvektoren zweier Klassen gegeben, die möglichst gut voneinander getrennt werden sollen. Im Fall der linearen Trennbarkeit wird nicht irgendeine trennende Hyperebene gesucht, sondern eine solche, für die der Abstand der orthogonalen Projektionen von zwei Punkten verschiedener Klassen auf eine durch den Stellungsvektor gegebene Gerade durch eine möglichst große Schranke nach unten abgeschätzt werden kann. Falls eine lineare Trennung nicht möglich ist, wird eine angepasste Zielfunktion verwendet, die sich von der Zielfunktion des vorigen Kapitels unterscheidet. Dies führt auf ein einfaches quadratisches Optimierungsproblem mit linearen Nebenbedingungen. Es erweist sich als vorteilhaft, das dazu duale Problem zu lösen, woraus man dann die Lösung des ursprünglichen Problems erhält. Die notwendigen Grundlagen aus der restringierten quadratischen Optimierung werden bereitgestellt. Die aus den vorigen Kapiteln bekannte Idee zur Einbeziehung von Nichtlinearitäten wird ebenfalls verwendet, hier werden die neuen Merkmale aber nicht explizit, sondern nur implizit über gewisse Kerne erzeugt. Dazu müssen dann Kerne charakterisiert werden. Ein elementarer Algorithmus zur Lösung des dualen Problems schließt dieses Kapitel ab.