Anwendungen und Lösungsansätze erklärbarer Künstlicher Intelligenz

Der „Kluge Hans“ war ein Pferd, dem man um die vorletzte Jahrhundertwende herum nachsagte, dass es rechnen könne. Bei öffentlichen Vorführungen wurden dem Pferd Rechenaufgaben gestellt und es kommunizierte dann durch das Klopfen mit dem Vorderhuf auf den Boden mit dem Aufgabensteller. Die Anzahl der Hufschläge war mutmaßlich als Antwort des Pferdes bzw. die Lösung der Rechenaufgabe zu interpretieren, und das Pferd lag bei Vorführungen immer richtig. Es wurde daher schnell berühmt und Delegationen von Wissenschaftlern kamen, um das Pferd zu sehen bzw. zu untersuchen. Was sich jedoch alsbald herausstellte: Das Pferd löste keineswegs die Rechenaufgabe, sondern leitete die Antwort geschickt aus anderen Informationen ab, die es unerwarteterweise zu deuten wusste. Anstatt die Rechenaufgabe zu lösen, klopfte das Pferd nämlich solange mit dem Huf auf den Boden, bis es gewisse Veränderungen in Körpersprache und Mimik seines Aufgabenstellers entdeckte. Bemerkenswerterweise bewies das Pferd dieses feine Gespür selbst dann erfolgreich, wenn die aufgabenstellende Person ihm unbekannt war und sich in dem Moment, wenn das Pferd bei der passenden Anzahl von Hufschlägen angelangt war, durch ihr Verhalten unbewusst verriet.

Beim Einsatz von Künstlicher Intelligenz (KI) bzw. im Maschinellen Lernen (ML) kennt man einen sehr vergleichbaren Effekt ebenfalls (Lapuschkin et al. 2019). Man spricht vom Kluger-Hans- bzw. Clever-Hans-Effekt, wenn in einem Trainingsdatensatz, möglicherweise in versteckter Form, bestimmte Eingangsgrößen vorhanden sind, die mit der richtigen Ausgabe korrelieren, aber wenig mit der Ursache der jeweils adressierten Phänomene zu tun haben. Derartige Daten sollten für den praktischen Einsatz, insbesondere während des Trainings eines ML-Systems, keinesfalls herangezogen und in der Entwicklungsphase ausgeschlossen werden. Unabhängig von der konkreten Ausgestaltung des ML-Systems, insbesondere in Bezug auf das zugrunde liegende Modell, können Entscheidungen durch solche Daten wesentlich beeinflusst werden, falls ein Clever-Hans-Effekt unentdeckt bleibt. Es gibt mehrere einschlägige Beispiele, z. B. wenn in der Bilderkennung die Unterscheidung von Wölfen und Huskies (Schlittenhunde) aufgrund des Schnees im Hintergrund gemacht wird (Ribeiro et al. 2016) oder Pferde auf Fotos nur aufgrund eines Wasserzeichens erkannt werden, das zur Unterbindung unerlaubter Vervielfältigung eingeführt wurde (Cremers et al. 2019).

Es ist offensichtlich, dass ein unentdeckter Clever-Hans-Effekt je nach Anwendung schwerwiegende Folgen haben kann, wenn ein betroffenes KI-System nur vermeintlich das gestellte Problem löst, aber absehbar im realen Einsatz versagt bzw. willkürliche Entscheidungen trifft. Je nach Kritikalität der Anwendung ist vorstellbar, dass Menschen zu Schaden kommen oder benachteiligt werden oder zumindest großer wirtschaftlicher Schaden entsteht. Gerade bei vortrainierten KI-basierten Entscheidungsunterstützungssystemen liegt es im Interesse bzw. in der Verantwortung der Entwicklungsteams, solche Effekte auszuschließen. Je nach der konkreten Ausgestaltung des KI-Systems kann dies mit einem sehr unterschiedlich hohen Aufwand verbunden sein.

Das Auffinden eines Clever-Hans-Effektes ist eine von mehreren denkbaren Motivationen, die einen Anwender dazu veranlassen könnte, ein KI-System zu verwenden, das „erklärbar“ ist. Für solche Anwender ist es wichtig, die Kausalitätsbeziehungen einzelner Entscheidungen zu plausibilisieren und, falls nötig, den systematischen Bias in den Daten aufzuspüren. Je nach Anwendung und Zielgruppe können jedoch noch sehr viele weitere Ziele oder Erklärungen von Interesse sein (Arrieta et al. 2019; Kraus et al. 2021). Für andere Anwender mag es etwa bedeutsam sein zu testen, ob ein KI-System auf verwandte Problemstellungen übertragen werden kann oder wie empfindlich es auf bestimmte Störungen in den Eingangsdaten reagiert. Auch können die Erhöhung des Informationsgewinns oder des Privacy-Bewusstseins, die Verbesserung von Interaktionsmöglichkeiten sowie das Klären von Verantwortlichkeiten mögliche Zielsetzungen sein.

Eine einheitliche und allgemein anerkannte Taxonomie für „erklärbare KI“ hat sich bislang noch nicht herausgebildet (Arrieta et al. 2019; Adadi/Berrada 2018). Man findet in der Literatur häufig Variationen der Begriffsbestimmung, dass erklärbare KI-Systeme dedizierte ML-Systeme darstellen, die 1) spezifische Entscheidungen und spezifische Aktionen oder 2) ihre innere Funktionsweise bzw. die versteckte Logik des Systems besser verständlich machen.

Derartige Begriffsbestimmungen sind jedoch nur von praktischem Nutzen, wenn man sich darüber klar ist, in welchen Fällen eine Verbesserung der Erklärbarkeit von ML-Systemen eigentlich erforderlich ist.

Ob die Erklärbarkeit eines ML-Systems überhaupt verbessert werden muss oder sollte, hängt einerseits von der methodischen Ausgestaltung des Systems, andererseits von der individuellen Anwendung und den Interessen der adressierten Zielgruppen ab. Auf den Anwendungs- und Zielgruppenbezug kommen wir in Abschn. 4 nochmals zurück. Es ist jedoch zunächst entscheidend, wie das ML-System methodisch ausgestaltet wird, d. h., ob ohnehin ein gut nachvollziehbares White-Box-Modell oder ob ein schlechter nachvollziehbares Modell für das ML verwendet wird, für das wir im Folgenden die Bezeichnung „Black-Box-Modell“ verwenden wollen. Dabei bezeichnen wir im Sinne einer einfachen Konvention alle Modelle als Black Box, die die beiden im Nachfolgenden beschriebenen und grundlegenden Eigenschaften eines White-Box-Modells nicht erfüllen, nämlich algorithmische Transparenz und nachvollziehbare Eingangsgrößen.

White-Box-Modelle zeichnen sich aufgrund ihrer nachvollziehbaren Struktur durch einen hohen Transparenzgrad aus. Damit ein Modell als White-Box-Modell und somit als selbsterklärend gelten kann, muss es zumindest die grundlegende Eigenschaft der algorithmischen Transparenz (Lipton 2016) besitzen und in seiner konkreten Ausprägung nachvollziehbare Eingangsdaten verwenden (Kraus et al. 2021). Für die Eigenschaft der algorithmischen Transparenz ist von Bedeutung, dass nachvollziehbar ist, wie Modellinstanzen im Detail erzeugt werden, und wie der betreffende Algorithmus, der die Modellparameter bestimmt, mit möglichen Situationen umgeht, mit denen er konfrontiert sein könnte. Dabei ist diese Nachvollziehbarkeit nicht auf konkrete Daten und Modellausprägungen bezogen, sondern allgemein in Bezug auf unbekannte Input- bzw. Trainingsdaten zu verstehen. Beispiele von Modelltypen, die sich durch algorithmische Transparenz auszeichnen, sind etwa lineare oder logistische Regressionsmodelle, Entscheidungsbäume oder Bayes-Netze (Arrieta et al. 2019; Kraus et al. 2021), für die allesamt etablierte und deterministische Trainingsalgorithmen existieren. Damit diese Modelle jedoch auch als White-Box-Modelle gelten können, muss zusätzlich die Nachvollziehbarkeit der Eingangsdaten gegeben sein. Dies erfordert, dass die Größen, mit denen das Modell „gefüttert“ wird, intuitiv verständlich sind und nicht etwa bereits komplexe, vorverarbeitete Kombinationen von Kenngrößen darstellen. Für solche White-Box-Modelle, die nachvollziehbare Eingangsdaten nutzen und sich durch algorithmische Transparenz auszeichnen, ist in aller Regel keine Verbesserung der Erklärbarkeit erforderlich, da entsprechende Informationen z. B. zur Aufdeckung von Clever-Hans-Effekten oder zum Verständnis der Modellwirkmechanismen mit mehr oder minder großem Aufwand direkt abgeleitet werden können – auch wenn dies ggf. die Unterstützung von Expertinnen und Experten oder ein passendes User Interface erfordert.

Die sogenannten „Black-Box-Modelle“ zeichnen sich häufig durch eine höhere Flexibilität aus. Manche erlauben etwa den Umgang mit Daten, die nicht händisch vorverarbeitet wurden, andere nutzen eine Vielzahl von Freiheitsgraden, um den Einfluss unterschiedlichster Interaktionen von Eingangsgrößen auf das Ergebnis abbilden zu können. In der Regel können solche Modelle jedoch selbst von Personen mit einschlägiger KI-Expertise angesichts unübersehbarer interner Verflechtungen nur unzureichend nachvollzogen werden. Im Vergleich zu White-Box-Modellen ist das wesentliche Unterscheidungskriterium eines Black-Box-Modells, dass diesem Modelltyp die notwendige Eigenschaft der algorithmischen Transparenz fehlt (Arrieta et al. 2019; Kraus et al. 2021; Lipton 2016). Bei tiefen neuronalen Netzen kann man dies etwa daran festmachen, dass beim Prozess der Modellgenerierung trotz gleichbleibender Trainingsdatensätze stets grundlegend unterschiedliche Modellausprägungen erzeugt werden können, was auf die komplexen Verlustfunktionen (Datta et al. 2016; Kawaguchi 2016) und die heuristischen Optmierungsverfahren zurückzuführen ist (Arrieta et al. 2019), die aufgrund der Dimensionalität eingesetzt werden müssen. Weitere Beispiele für Black-Box-Modelle sind etwa Tree-Ensemble-Modelle oder Support Vector Machines (Arrieta et al. 2019; Kraus et al. 2021). Kommen solche Black-Box-Modelle zum Einsatz kann man − falls dies anwendungsseitig gewünscht ist − versuchen, die mangelnde Transparenz der Modelle zu kompensieren. Dies ist das eigentliche Anwendungsgebiet für „erklärbare“ KI.

Welches sind jedoch nun die eigentlichen Ansatzpunkte, um die oben genannten Aspekte von Erklärbarkeit bei Black-Box-Modellen, d. h. deren spezifischen Entscheidungen oder deren innere Funktionsweise bzw. deren versteckte Logik zu verbessern? Grundsätzlich gibt es eine breite Palette von Möglichkeiten, wie Erklärungen für die Entscheidungen eines KI-Systems bereitgestellt werden können. Je nach Anwendung, Datengrundlage und Zielgruppe kann hier die Übermittlung visueller, grafischer, textueller oder numerischer Information infrage kommen und nominell als Erklärung bezeichnet werden. Wie die spezifische Erklärungsgüte bewertet wird, kann hingegen von Person zu Person stark variieren, da der mit der Erklärung assoziierte Erkenntnisgewinn, abgesehen von der Anwendung, auch maßgeblich von dem individuellen Interesse und Vorwissen der Zielperson abhängt.

Es wurden bereits zahlreiche Erklärungsstrategien entwickelt, die je nach Anwendungsfall besser oder schlechter geeignet sind, um individuelle Erklärungen für konkrete Anwendungen zu erzeugen. Die wesentliche Schwierigkeit besteht häufig in der Auswahl der geeigneten Methode. Für einige Strategien existieren bereits direkt verwendbare Implementierungen oder sie konnten sich sogar als industrieller Standard durchsetzen. Andere Methoden werden gerade erst im Rahmen von Forschungsprojekten erprobt. Im Folgenden werden einige etabliertere Ansätze kurz vorgestellt.

Im vorherigen Abschnitt wurden ausschließlich etablierte Erklärungsstrategien beschrieben, die dabei helfen, individuelle Entscheidungen besser nachvollziehen zu können. In vielen Fällen reicht dies zumindest aus Sicht der Primäranwender der KI-Systeme aus.

Anwendungsbeispiele finden sich etwa in der Gesundheitswirtschaft, wenn Entscheidungsunterstützungssysteme dem medizinischen Personal helfen sollen, Auffälligkeiten in patientenbezogenen Datensätzen zu identifizieren. Zielgruppengerechte Erklärungen lassen sich etwa durch visuelle Hervorhebung bereitstellen.

Dies gilt insbesondere, falls Bild- oder Videodaten durch KI-gestützte Anwendungen verarbeitet werden. Mithilfe von KI-basierten Computer-Vision-Systemen können z. B. Pathologen unterstützt werden, das Risiko für Fehlentscheidungen bei der Tumorerkennung zu reduzieren, indem Bilder von Gewebedaten mithilfe neuronaler Netze auf Auffälligkeiten überprüft werden (Kraus et al. 2021). Dabei genügt es für eine Prüfung durch eine einschlägig geschulte Person nicht, dass das System nur einen numerischen Konfidenzwert bereitstellt, aus dem das medizinische Personal im Zweifel wenig Nutzen für eine Patientendiagnose ziehen kann. Eine gangbare Erklärungsstrategie ist stattdessen, die Bildbereiche für den Arzt hervorzuheben, die für die Klassifikation eines Tumors durch das KI-System maßgeblich waren. Für die Erstellung dieser Saliency Maps können Post-Hoc-Erklärungswerkzeuge, wie z. B. LRP, CAM, Integrated Gradients oder LIME verwendet werden.

Ein weiterer beispielhafter Anwendungsfall aus dem Gesundheitswesen ist die Analyse von Arztbriefen zur automatisierten Zuordnung von Krankheitsbildern oder zur Identifikation von ähnlichen Krankheitsverläufen (Kraus et al. 2021). Ein Arztbrief beinhaltet dabei eine Zusammenfassung der Krankengeschichte eines Patienten, z. B. zu erfolgten Untersuchungen und Symptomen. In schwierigeren Fällen wird auf die sogenannte Differentialdiagnose zurückgegriffen, was die Betrachtung möglicher Krankheitsbilder unter Berücksichtigung der Symptome und den Ausschluss von nicht relevanten Krankheitsbildern beinhaltet. Dabei können KI-Systeme das medizinische Personal unterstützen, möglichst sichere Diagnosen zu treffen, indem sie Vorschläge zu möglichen Krankheitsbildern machen − auf Basis einer Ähnlichkeitsanalyse von Arztbriefen, die in Textform vorliegen. Mithilfe von Verfahren des Natural Language Processing bzw. neuronaler Netze (Transformer Networks) können Arztbriefe analysiert werden. Um die Ähnlichkeitsanalyse jedoch für medizinisch geschulte Personen möglichst gut nutzbar zu machen, bietet sich hier die Erklärungsstrategie an, Prototypen anzulegen. Dazu wird für jede Krankheit ein Prototyp erstellt, der häufig auftretende Symptome enthält. Wird nun für einen konkreten Patienten das Krankheitsbild bestimmt, können anschließend die im zugehörigen Prototypen beschriebenen Symptome mit den Symptomen des Patienten abgeglichen und Gemeinsamkeiten dargestellt werden, um die Entscheidung des KI-Modells verständlicher zu gestalten. Diese Erklärungsgrundlage ermöglicht dem Arzt zu entscheiden, ob vorgeschlagene Krankheitsbilder aus medizinischer Sicht sinnvoll sind und in die Differentialdiagnose einfließen sollten.

Gleichzeitig ist die Akzeptanz der Primäranwender nicht immer ausreichend, um alle Anforderungen an Erklärbarkeit zu erfüllen. In regulierten Branchen wie der Gesundheitswirtschaft muss in der Regel auch ein Konzept für die zulassenden Behörden mit Bezug auf Aspekte wie Funktionssicherheit und die diesbezügliche Erklärbarkeit generiert werden, da dies das Risikomanagement tangiert. Inwiefern hier Nachweise in Bezug auf Entscheidungserklärungen ausreichen oder ob auch Modellwirkmechanismen nachvollziehbar gemacht werden müssen, ist in diversen regulierten Anwendungsbranchen in Bezug auf KI-Systeme nicht oder nicht zufriedenstellend geklärt (Kraus et al. 2021). Hier besteht in diversen Branchen noch großer Nachholbedarf. Insbesondere die Medizinprodukteverordnung ist in Bezug auf KI-gestützte Produkte noch ziemlich unklar. Es gibt jedoch im Gesundheitsbereich erste in Europa bzw. Deutschland zugelassene KI-basierte Computer-Vision-Systeme, die auf neuronalen Netzen beruhen. Dies zeigt, dass Zulassungsprozesse punktuell und unter gewissen Umständen bereits erfolgreich waren, auch wenn diese Computer-Vision-Systeme vermutlich „nur“ Entscheidungserklärungen bereitstellen, was derzeit gemäß dem Stand der Technik möglich ist.

Die Anforderungen der Anwender an KI-basierte Entscheidungsunterstützungssysteme können jedoch auch anders aussehen. Dies zeigt sich etwa bei typischen KI-Anwendungen im Zusammenhang mit Produktionsanlagen im Bereich Condition Monitoring bzw. Predictive Maintenance (Kraus et al. 2021). Stillstände von entsprechenden Apparaten und Maschinen führen häufig zu teuren Produktionsausfällen. Dies kann enormen wirtschaftlichen Schaden zur Folge haben. KI-basierte Frühwarnsysteme, die Fehlverhalten anzeigen oder nötige Wartungsarbeiten empfehlen können, verarbeiten zu diesem Zweck große Mengen an typischerweise numerischen Daten, die während des Anlagenbetriebs anfallen. Gleichfalls sind explizite Fehlercodes Grundlage für das Training der zugehörigen KI-Modelle. Aus Sicht der primären Zielgruppe, der Instandhaltungsteams, muss jedoch im realen Einsatz ein KI-System, das Anomalien im Maschinenverhalten erkennen soll, zuverlässig funktionieren. Entscheidungserklärungen können im Einzelfall wichtig sein, wenn ein Fehler schnell zugeordnet werden muss.

Häufig benötigen die Instandhaltungsteams jedoch die Möglichkeit, das Modell als Ganzes auf seine Zuverlässigkeit zu überprüfen. Wenn es sich bei dem Ausgangsmodell um ein Black-Box-Modell handelt, kann als Erklärungsstrategie ein Stellvertreter- oder Surrogatmodell in Frage kommen, das auf Basis des Ursprungsmodells und/oder realer Betriebsdaten erstellt wird. Wenn z. B. ein Entscheidungsbaum als Surrogatmodell verwendet wird, lassen sich Entscheidungsgrenzen und Zwischenergebnisse dieses Stellvertretermodells einfach und schnell interpretieren. Auch lassen sich sogar Modellwirkmechanismen des Surrogatmodels nachvollziehen. Dabei ist jedoch zu beachten, dass ein Stellvertretermodell natürlicherweise verschieden von dem Modell ist, das die Entscheidungen trifft. Folglich sind alle Erklärungen, die vom Stellvertretermodell abgeleitet werden, im eigentlichen Sinne nur gültig in Bezug auf das Surrogatmodell und nur in eingeschränktem Maße auf das Modell übertragbar, das die Entscheidung trifft.

In den Anwendungsbeispielen spielt Erklärbarkeit insbesondere für die KI-Entwicklungsteams sowie für die jeweiligen Domänenexpertinnen und -experten eine wichtige Rolle. Umfragen unter Brancheninsidern bestätigen dies auch bei branchenübergreifender Betrachtung (Kraus et al. 2021), wobei die Bedeutung von Erklärbarkeit in fünf bis zehn Jahren auch für Endkundinnen und -kunden, die Managementebene sowie interne und externe Prüferinnen und Prüfer steigen wird.

Für die Bereitstellung von Entscheidungserklärungen existiert bereits eine umfangreiche Sammlung von Werkzeugen, die aufgrund von wissenschaftlichen Neuveröffentlichungen stetig erweitert wird. Gleichzeitig zeigen Befragungen von Fachleuten, dass diese Werkzeuge in der Regel nur für Personen mit entsprechender Expertise nutzbar sind und für Unternehmen verwertbare Best Practices heute häufig noch fehlen (Kraus et al. 2021). Praktische Orientierungshilfen für die Auswahl geeigneter Erklärungsstrategien für Einzelentscheidungen in Abhängigkeit u. a. von KI-Expertise, Datentyp und Laufzeit existieren jedoch bereits (Kraus et al. 2021; Schaaf et al. 2021).

Gleichzeitig existieren auch Anwendungsfälle, in denen die Erklärbarkeit von Einzelentscheidungen heute noch nicht ausreicht. Dies kann durch Kundenanforderungen oder eine entsprechende Regulierung begründet sein. Um KI-Anwendungen für solche Fälle bereitzustellen, ist es faktisch unvermeidlich, die Nachvollziehbarkeit von Modellwirkmechanismen zu ermöglichen. Andernfalls ist die Nichtzulassung oder die Nichtakzeptanz des Produktes durch den Markt ein enormes Risiko. Aus heutiger Sicht ist keine Entwicklung eines omnipotenten Post-hoc-Erklärungswerkzeuges absehbar, das für beliebige Black-Box-Ansätze wie z. B. tiefe neuronale Netze passende und quantitativ interpretierbare Modellerklärungen generieren könnte. Eine aussichtsreiche Forschungsausrichtung stellt daher die Hybridisierung von daten- und wissensgetriebenen Ansätzen dar, die White-Box- mit Black-Box-Komponenten kombinieren und eigenständig Erklärungen bereitstellen, falls die Nutzung von White-Box-Lösungen nicht in Frage kommt. Es existieren einzelne laufende Forschungsvorhaben, die solche hybriden Ansätze aktiv verfolgen (Kraus et al. 2021). Es ist jedoch noch zu untersuchen, auf welche Anwendungsgebiete sich diese aussichtsreichen Ansätze aus technischer Sicht übertragen lassen. Auch stellt die Berücksichtigung verhaltenswissenschaftlicher Aspekte, wie die Messbarkeit der Erklärungsgüte oder die automatisierte Erklärungsanpassung an Nutzende und selbstlernende Systeme, eine wichtige, jedoch sehr herausfordernde Aufgabe der Forschung dar, um die Erklärbarkeit von KI-Systemen langfristig zu verbessern (Kraus et al. 2021).

Klar ist aber, dass die Sicherstellung von Nachvollziehbarkeit bzw. Erklärbarkeit im Regelfall einen hohen Aufwand bei der KI-Systementwicklung bedeutet. Daher wird die praktische Umsetzung einer KI-Regulierung in den europäischen Mitgliedsländern − und entsprechend zu formulierende Anforderungen an Erklärbarkeit − einen enormen Einfluss auf die Zukunft des Forschungsfeldes nehmen.