10. Vertrauenswürdige Künstliche Intelligenz

Mit der wachsenden Zahl an Anwendungen von KI-Methoden in immer mehr Lebens- und Arbeitsbereichen ergibt sich die Notwendigkeit, prüfbare Kriterien zu entwickeln, die es erlauben, die Vertrauenswürdigkeit von KI-Systemen zu bewerten. Entsprechend haben verschiedene Institutionen, darunter die International Organization for Standardization (ISO), das U.S. Government Accountability Office (GAO) und die Europäische Union Programme aufgelegt, um entsprechende Leitlinien zu entwickeln (Kaur et al., 2022). Die von den verschiedenen Institutionen vorgelegten Kriterien zeigen hohe Übereinstimmung. Viel beachtet sind die von der Europäischen Kommission vorgelegten sieben Anforderungen (HEG-KI, 2019), die im Folgenden vorgestellt werden. Leitgedanke war hier die Gewährleistung eines angemessenen ethischen und rechtlichen Rahmens zur Stärkung der europäischen Werte mit der Vision, dass KI-Systeme entstehen, die dazu beitragen können, die Ziele für nachhaltige Entwicklung der Vereinten Nationen zu erreichen, beispielsweise bei der Bekämpfung des Klimawandels, beim rationalen Umgang mit natürlichen Ressourcen, bei der Gesundheitsförderung und bei der Geschlechtergerechtigkeit. In den Leitlinien wurde konstatiert, dass den vielfältigen Chancen, die sich durch die Nutzung von KI-Systemen ergeben, Risiken gegenüberstehen, die angemessen und verhältnismäßig behandelt werden sollten. Es soll gewährleistet werden, dass den sozio-technischen Umgebungen, in die KI-Systeme eingebettet sind, vertraut werden kann, und erreicht werden, dass KI-Unternehmen durch die Vertrauenswürdigkeit ihrer Produkte und Dienstleistungen einen Wettbewerbsvorteil erlangen.

Die sieben Anforderungen, die die HEG-KI formuliert hat, sind in Tab. 10.1 zusammengefasst. Dabei werden sowohl technische als auch nichttechnische Anforderungen formuliert. Als erste Anforderung wird der Vorrang menschlichen Handelns und menschliche Aufsicht genannt. KI-Systeme sollten Menschen dabei unterstützen, fundierte Entscheidungen treffen zu können, die im Einklang mit ihren eigenen Zielen stehen. Unfaire Formen der Manipulation, die die menschliche Autonomie gefährden, sollen entsprechend vermieden werden. Menschliche Aufsicht kann durch die Möglichkeit zur Überprüfung und Kontrolle der Prozesse und Ausgaben eines KI-Systems oder durch interaktive Einbindung des Menschen (human-in-the-loop) gewährleistet werden. Die Kontrollierbarkeit von Prozessen und Ausgaben ist eng mit der Anforderung an Transparenz, insbesondere der Erklärbarkeit, verbunden. Die zweite Anforderung adressiert die technische Robustheit und Sicherheit von KI-Systemen. Diese Anforderung entspricht einer Übertragung von Prinzipien guter Software auf KI-Systeme. Hier geht es um die Vermeidung von Sicherheitslücken sowie die Präzision und Zuverlässigkeit von aus Daten gelernten Modellen. Die dritte Anforderung behandelt den Schutz der Privatsphäre und das Datenqualitätsmanagement. Hier geht es um das Einhalten von Datenschutzvorgaben sowie die Qualität der Datensätze, mit denen Modelle trainiert werden. Diese Anforderung hat auch Bezüge zur fünften Anforderung der Nichtdiskriminierung und der Vermeidung von unerwünschten Verzerrungen in den Trainingsdaten. Als vierte Anforderung wird Transparenz genannt. Transparenz umfasst die Offenlegung von Trainingsdaten und der genutzten Algorithmen, den klaren Ausweis, wenn eine Kommunikation mit einem KI-System und nicht mit einem Menschen stattfindet, sowie die Erklärbarkeit. Erklärbarkeit von KI-Systemen meint, dass die von einem KI-System getroffenen Entscheidungen von Menschen verstanden und rückverfolgt werden können. Zur Transparenz sollte zudem die Information gehören, wie viele Data Worker zu welchen Löhnen beschäftigt wurden, um die Daten, mit denen Modelle trainiert wurden, zu annotieren und geeignet aufzubereiten, und wie viel Zeit an menschlicher Arbeit in das Training der Modelle geflossen ist – etwa bei den zeitintensiven Arbeiten für Dialogtraining für große Sprachmodelle. Die fünfte Anforderung bezieht sich auf Vielfalt, Nichtdiskriminierung und Fairness. Hier geht es um die Vermeidung der Benachteiligung bestimmter Personengruppen, beispielsweise weil diese in den Trainingsdaten unterrepräsentiert sind. Zudem sind die für Software generell gültigen Anforderungen an Barrierefreiheit sowie die Beteiligung aller relevanten Interessensgruppen beim Entwurf der Systeme hier adressiert. Als sechste Anforderung wird gesellschaftliches und ökologisches Wohlergehen genannt. KI-Systeme sollen möglichst nachhaltig und umweltfreundlich sein, nicht zu negativen sozialen Auswirkungen beitragen und keine unerwünschten Effekte auf demokratische Meinungsbildungsprozesse haben. Schließlich ist die siebte Anforderung die Rechenschaftspflicht (accountability), insbesondere die Nachprüfbarkeit und Berichterstattung, um bei schädlichen Auswirkungen die Verantwortlichkeit klären zu können.

Die Realisierung dieser sieben Anforderungen an Vertrauenswürdigkeit verlangt sowohl nichttechnische Methoden, insbesondere regulatorische Maßnahmen, als auch technische Methoden. Die technischen Methoden können teilweise direkt aus dem Bereich der Standardsoftware übernommen werden, etwa Anforderungen an die Datensicherheit. Teilweise müssen neue Methoden, darunter auch neue KI-Methoden, entwickelt werden, um den Anforderungen zu begegnen. In Tab. 10.1 wird eine grobe Zuordnung von einschlägigen Bereichen zu Anforderungen vorgeschlagen. Für vier der sieben Anforderungen wurden in den letzten Jahren KI-Methoden entwickelt, die in den folgenden Unterkapiteln beschrieben werden.

Die Vertrauenswürdigkeit eines KI-Systems sollte die Grundlage dafür liefern, ob Menschen einem KI-System vertrauen oder vertrauen sollten. Vertrauenswürdigkeit ist also eine Eigenschaft des Systems, Vertrauen eine Zuschreibung von Vertrauenswürdigkeit an ein System (s. Abb. 10.1). Eine dazu analoge Definition wird aus sozialpsychologischer Perspektive für interpersonelles Vertrauen gegeben (Robbins, 2016). Ähnliche Mechanismen werden für Vertrauen in Institutionen und Organisationen (Creed et al., 1996) oder Berufsgruppen (Hall et al., 2001) identifiziert. Das sozialpsychologische Vertrauenskonzept wurde auf die Messung von Vertrauen in Technologien (Mcknight et al., 2011; Sheridan, 2019) sowie in den letzten Jahren auch auf Vertrauen in KI-Systeme (Holliday et al., 2016; Glikson & Woolley, 2020; Kaplan et al., 2023) übertragen. Faktoren, die das Vertrauen in KI-Systeme beeinflussen, lassen sich nach Kaplan et al. (2023) in vier Gruppen einteilen, zu denen unter anderem folgende Einflussgrößen gehören:

Full size image

Skalen zur Messung des Vertrauens in KI-Systeme, wie die General Attitudes towards Artificial Intelligence Scale (GAAIS, Schepman & Rodway, 2023), erfassen eine generalisierte Vertrauenszuweisung in KI-Systeme. Insbesondere im Kontext der Forschung zu Erklärbarer KI liegt der Fokus auf der Gestaltung von Mensch-KI-Schnittstellen, die ein situativ adaptives, kalibriertes Vertrauen in eine spezifische Ausgabe eines KI-Systems im Kontext einer speziellen Aufgabe adressieren (Thaler & Schmid, 2021; Tomsett et al., 2020; Zhang et al., 2020). Die Beziehung zwischen der Charakterisierung eines speziellen KI-Systems in Bezug auf dessen Erfüllung der sieben Anforderungen an Vertrauenswürdigkeit und der spezifischen Erfahrung von Nutzenden mit KI-Systemen allgemein sowie einem speziellen KI-System im Aufgabenkontext kann als normatives Vertrauen einerseits und evidenzbasiertes Vertrauen andererseits klassifiziert werden. Evidenzbasiertes Vertrauen umfasst dabei situativ kalibriertes Vertrauen sowie vorangegangene Erfahrung mit diesem und anderen KI-Systemen.¹

Im Folgenden werden die verschiedenen Anforderungen an die Vertrauenswürdigkeit von KI-Systemen mit Fokus auf das Lernen von Klassifikatoren diskutiert. Klassifikationslernen umfasst verschiedene überwachte Ansätze des maschinellen Lernens (supervised learning), bei denen mittels einer Menge von annotierten Trainingsdaten ein Modell aufgebaut wird (z. B. Lindholm et al., 2022). Annotation meint, dass zu jedem Beispiel der Trainingsmenge die korrekte Klasse mitgegeben wird. Das Modell lernt eine Abbildung von Eingabedaten auf die korrekte Klasse und nutzt dabei die vorgegebene Klasseninformation zur Modellanpassung. Die Zuweisung der korrekten Klassen (labeling) wird in den meisten Fällen durch Menschen erledigt. Häufig wird übersehen, dass hinter vielen KI-Systemen ein enormer Aufwand an menschlicher Arbeit steckt. Die großen KI-Unternehmen beschäftigen sehr viele solche Data Worker unter oft prekären Bedingungen (Williams et al., 2022). Für Klassifikatoren in hochspezialisierten Bereichen, etwa der medizinischen Diagnostik, müssen zum Labeling Expertinnen und Experten herangezogen werden. In Bereichen, wo das Labeling nicht eindeutig ist, also keine ground truth existiert, annotieren wenn möglich mehrere Personen die gleichen Daten, und es werden ähnliche Methoden genutzt wie bei der statistischen Analyse qualitativer Daten (Chew et al., 2019). Da die Performanz der gelernten Modelle maßgeblich von der Qualität der genutzten Trainingsdaten abhängt, sind qualitativ hochwertige Datensätze entsprechend wertvoll.

Im Kontext des maschinellen Lernens hat sich für die Performanzbeurteilung von gelernten Modellen im Bereich der Klassifikation eine allgemein akzeptierte Methodik entwickelt (Lindholm et al., 2022, Kap. 4). Ein Teil der vorhandenen Daten wird nicht zum Training des Modells genutzt, sondern als Testdatenmenge zurückbehalten. Nachdem ein Modell trainiert wurde, wird es auf die Testdaten angewendet, für die aber ebenfalls bereits die gewünschte Klassenausgabe vorgegeben ist. Nun kann für die Testdaten beobachtet werden, wie oft das Modell eine korrekte oder fehlerhafte Klasse liefert. Mit dieser Information wird die prädiktive Performanz des Modells abgeschätzt, also wie gut das Modell für neue, noch nicht gesehene Eingaben funktionieren wird. Üblicherweise werden hier die Präzision und die Sensitivität (recall) betrachtet. Präzision erfasst den Anteil an korrekt klassifizierten Eingaben relativ zu allen Eingaben, die einer bestimmten Klasse zugeordnet wurden, also der Anzahl korrekt und falsch positiver Klassifikationen. Sensitivität erfasst den Anteil korrekt klassifizierter Eingaben relativ zur Menge aller Eingaben, die mit dieser Klasse annotiert sind. Beide Maße werden häufig zu einem Gesamtscore (F1 score) verrechnet. Ist die Performanz eines Modells auf den Trainingsdaten höher als auf den Testdaten, spricht man von Überanpassung (overfitting; Ditterich, 1995; Rice et al., 2020). Das Modell nutzt dann irrelevante Merkmale, die spezifisch für die Trainingsdaten sind und mit der vorherzusagenden Klasse korrelieren (spurious correlation), und kann dann nicht mehr gut auf neue Daten generalisieren. Ist die Datengrundlage nicht repräsentativ für die Verteilung von Daten, bestehen diese irrelevanten Korrelationen allerdings auch in den Testdaten. Man trainiert damit sogenannte Kluge-Hans-Modelle,² die scheinbar hochperformant sind, aber in Wirklichkeit kein Modell zur Vorhersage der Zielklassen gelernt haben. Erklärbare KI bietet Möglichkeiten, solche Kluge-Hans-Modelle zu identifizieren (Lapuschkin et al., 2019).

Für die Bewertung der Performanz von Ansätzen der generativen KI gibt es aktuell noch kein etabliertes methodisches Vorgehen. Entsprechend dominieren eher anekdotische Erfahrungsberichte. Systematische empirische Evaluationen basieren entweder auf dem Vergleich der Übereinstimmung generierter Inhalte mit vorgegebenen Inhalten (Mizrahi et al., 2024) oder der Bewertung durch Menschen. Beispielsweise haben Herbold et al. (2023) von ChatGPT generierte Aufsätze und von Schülerinnen und Schülern geschriebene Aufsätze durch Lehrkräfte beurteilen lassen. Dabei war nicht gekennzeichnet, ob der Aufsatz von Mensch oder Maschine stammt. Hier zeigte sich, dass Aufsätze von ChatGPT-3.5 im Schnitt schlechter, Aufsätze von ChatGPT-4 aber besser als die von Schülerinnen und Schülern bewertet wurden.

Die Robustheit eines Klassifikationsmodells betrifft dessen Performanz für neue Eingaben (Freiesleben & Grote, 2023), insbesondere wenn sich die Verteilung von Daten ändert (concept drift), wenn Eingaben verrauscht oder manipuliert werden (adversarial examples) und wenn Eingaben erfolgen, die außerhalb des Bereichs liegen, mit denen ein Modell trainiert wurde (out-of-distribution error). Die Robustheit eines Modells betrifft also dessen Generalisierungsfähigkeit über die bereits gesehenen Daten hinaus. Fehlerhafte Ausgaben eines Modells können zu einem Verlust an Vertrauen führen, besonders dann, wenn der Fehler für Menschen offensichtlich ist. Beispielsweise ist für Menschen ein Stoppschild, auf das jemand einen Aufkleber angebracht hat, immer noch als solches zu erkennen; bei einem gelernten Modell kann dies zu einer Fehlklassifikation führen. Wurde ein Modell mit Tierbildern trainiert und ist entsprechend auch nur für die Klassifikation von Tieren vorgesehen, würde es auf die Eingabe eines anderen Bildes, beispielsweise eines Kühlschrankes, aufgrund der dominanten Farbe Weiß mit der Ausgabe einer Klasse aus dem Trainingsbereich, beispielsweise Eisbär, reagieren. Menschen würden bei einem unbekannten Beispiel dagegen erkennen, dass sie dazu noch kein Wissen haben.

Auf der einen Seite zeigen aus Daten gelernte Modelle inzwischen höhere Performanz als die meisten Menschen – etwa bei der Hautkrebs-Erkennung (Brinker et al., 2019). Auf der anderen Seite ist gerade für Alltagsbereiche die menschliche Generalisierungsfähigkeit deutlich robuster, flexibler und datensparsamer als maschinelles Lernen (Ilievski et al., 2024). Ein möglicher Zugang, um bessere Generalisierungsfähigkeit und mehr Robustheit zu erreichen, wird in der Kombination aus maschinellem Lernen und wissensbasierten KI-Methoden gesehen. Forschung zur Kombination von Wissen und Lernen wird als hybride KI oder als neurosymbolische KI (Sarker et al., 2022; Marra et al., 2024) bezeichnet (s. Abb. 10.2). Die Einbeziehung von Wissen kann maschinelles Lernen datensparsamer machen (siehe Schmid, 2024). Ein rein datengetriebenes Modell ist gezwungen, bestimmte Konzepte wieder und wieder aus Daten zu induzieren. Menschliches Lernen zeichnet sich dagegen dadurch aus, dass bereits vorhandenes Wissen im Lernprozess genutzt wird. So muss beispielsweise nicht immer wieder neu gelernt werden, dass Säugetiere Augen haben. Zudem reichern Menschen neue Beobachtungen häufig durch Schlussfolgerungen an. Sehe ich ein mir unbekanntes Tier, das Augen hat, so schließe ich daraus, dass es sehen kann. Umgekehrt können die hochperformanten Architekturen des tiefen Lernens dazu beitragen, wissensbasierte Ansätze flexibler zu machen. Fest vorgegebene Wissensbasen können durch Lernen erweitert und adaptiert werden. Explizit repräsentiertes Wissen kann mit implizitem Wissen kombiniert werden. Ein Beispiel hierfür ist DeepProblog (Manhaeve et al., 2021). Hier kann das Erkennen visueller Objekte (zum Beispiel handgeschriebene Ziffern) mit dem Lernen kognitiver Regeln (zum Beispiel für arithmetische Operationen) kombiniert werden. Einen ähnlichen Ansatz verfolgen Rabold et al. (2020) mit der Kombination von Bildklassifikation und dem Lernen relationaler Regeln mit induktiver logischer Programmierung (ILP). Beispielsweise können verschiedene Gebäudearten unterschieden werden, indem zunächst Fenster erkannt und darauf aufbauend Regeln gelernt werden, die die räumlichen Beziehungen zwischen Fenstern nutzen, um etwa einen Turm von einem Bungalow zu unterscheiden. Die Kombination von Bildklassifikation auf Basis neuronaler Netze mit dem Lernen relationaler Regeln ist gleichzeitig ein Beitrag zur Erklärbaren KI, da dadurch ermöglicht wird, dass komplexe Entscheidungsregeln symbolisch repräsentiert und sprachlich vermittelt werden können (Schmid, 2021).

Full size image

Im Bereich der generativen KI werden ebenfalls Ansätze entwickelt, bei denen wissensbasierte Methoden mit neuronalen Netzen kombiniert werden. Insbesondere wird retrieval augmented generation (RAG, Gao et al., 2023) genutzt, um die Generierung von Inhalten zu augmentieren. Damit sollen fehlerhafte Ausgaben („Halluzinieren“) möglichst vermieden werden. Zudem wird erreicht, dass die generierten Inhalte gezielt spezifische Informationen nutzen. Beispielsweise werden hier Wissensgraphen genutzt (Pan et al., 2024; Schramm et al., 2023).

Die Anforderung, dass ein KI-System möglichst diskriminierungsfrei ist (fair AI, Ruggieri et al., 2023), soll gewährleisten, dass bestimmte Personengruppen bezogen auf beispielsweise Geschlecht, Ethnie oder Alter nicht benachteiligt werden. Bei aus Daten gelernten Modellen hängt es maßgeblich von den Daten ab, mit denen ein Modell trainiert wurde, ob es diskriminierungsfrei ist oder nicht. Dies ist besonders dann der Fall, wenn eine bestimmte Personengruppe bezogen auf ein bestimmtes Kriterium unterrepräsentiert ist. Beispielsweise wies das KI-System, das Amazon 2015 zur Identifikation von geeigneten Bewerbungen auf Stellen genutzt hat, einen unfairen Gender-Bias auf, da Bewerbungen von Frauen auf Stellenangebote im Bereich Software Engineering systematisch nicht berücksichtigt wurden (Stahl et al., 2022). Die Ursache war, dass in den genutzten Trainingsdaten kaum Fälle von Softwareentwicklerinnen vorhanden waren. Die genutzten historischen Daten waren also verzerrt – es lag eine Stichprobenverzerrung (sampling bias) vor.

Im Bereich maschinelles Lernen existieren allerdings bereits seit Langem Methoden, um mit dem Problem von Gruppen umzugehen, die für bestimmte Zielgrößen unterrepräsentiert sind (Maloof, 2003), die im Fall von Amazon schlicht ignoriert wurden. Beispielsweise existieren verschiedene resampling und reweighting Methoden, um die Unterrepräsentation verschiedener Gruppen auszugleichen (Kamiran & Calders, 2012). Dies setzt allerdings voraus, dass vor dem Training der Modelle sensible Merkmale, die zu Diskriminierung führen können, identifiziert werden. Dies gilt auch für eine weitere Strategie, nämlich die Entfernung sensibler Merkmale aus den Daten, beispielsweise Geschlecht, weil mit diesem Merkmal hochkorrelierte Merkmale (bei Geschlecht etwa Merkmale wie Größe und Gewicht) ebenfalls zu unfairen Modellen führen können (Pahl et al., 2022). Teilweise sind unfaire Verzerrungen auch schwer in Gänze auszuräumen. Dies war zum Beispiel bei der Google Photo-App der Fall, bei der dunkelhäutige Menschen als Gorillas klassifiziert wurden (Lee, 2018). Das Problem wurde zeitweise dadurch umgangen, dass die Klasse Gorilla generell herausgefiltert wurde. Teilen sich Bilder in einem Datensatz, die zu verschiedenen Klassen gehören, viele Merkmale, lassen sich solche Fehlklassifikationen nicht generell vermeiden.

Auch bei generativer KI, beispielsweise bei Bildgeneratoren und bei maschineller Übersetzung, führt die Datengrundlage, mit denen die Modelle trainiert werden, zu unerwünschten Verzerrungen. Beispielsweise sind Frauen in generierten Bildern häufig jung und stereotyp attraktiv dargestellt, da in der Datengrundlage vermutlich viele editierte Bilder aus sozialen Medien enthalten sind. Um ethnische Verzerrungen möglichst zu vermeiden, hat Google bei Gemini explizit Algorithmen verwendet, die entsprechenden Verzerrungen entgegenwirken sollen. Dadurch entstehen allerdings völlig unplausible Darstellungen, wie dunkelhäutige Menschen und Frauen in der Uniform deutscher Soldaten im zweiten Weltkrieg (Kleinman, 2024). Bei der maschinellen Übersetzung führen Korrelationen von Geschlecht und Berufsgruppen nicht nur zu unerwünschten Verzerrungen, sondern sogar zu fehlerhaften Texten. Beispielsweise wird der englischsprachige Satz The cleaner hates the developer because she alwaysleaves the room dirty. ins Deutsche übersetzt mit Die Reinigungskraft hasst den Entwickler, weil sie das Zimmer immer schmutzig hinterlässt. (Troles & Schmid, 2021).

Die Philosophin Shannon Vallor (2024) zeigt auf, dass unfaire Modelle uns einen Spiegel vorhalten und historische wie bestehende Ungerechtigkeiten aufzeigen. Allerdings sollte bedacht werden, dass es kaum Bereiche gibt, bei denen objektiv und allgemeingültig festgelegt werden kann, was fair und gerecht ist. Gerechtigkeit und Fairness sind abhängig vom kulturellen Kontext – sei es bezogen auf Länder, Unternehmen oder Institutionen. Entsprechend ist die Transparenz von KI-Systemen wichtig, damit menschliche Entscheiderinnen und Entscheider nachvollziehen können, auf Grundlage welcher Information ein System seine Ausgabe generiert – sei es bezogen auf die Vergabe eines Kredits oder die Entscheidung über eine medizinische Behandlung. Ein entsprechendes System, das Fairness im Kontext von erklärbarem interaktivem Lernen adressiert, wurde beispielsweise von Heidrich et al. (2023) vorgeschlagen.

Transparenz als Anforderung für die Vertrauenswürdigkeit von KI-Systemen wird insbesondere durch Methoden der Erklärbaren Künstlichen Intelligenz (eXplainable AI, XAI) realisiert. Der Beginn des Forschungsgebiets XAI kann auf das Jahr 2016 festgelegt werden, als David Gunning den Begriff im Rahmen eines Vortrags auf der International Joint Conference on AI (IJCAI) einführte (Gunning & Aha, 2019). Gunning argumentierte, dass es wünschenswert wäre, dass intransparente Modelle, besonders Bildklassifikatoren, zusätzlich zur Ausgabe einer Klassifikation auch eine Erklärung liefern würden, warum das Modell zu einer speziellen Klassenentscheidung kam. Am Beispiel der Klassifikation einer Katze illustrierte er eine mögliche Erklärung. Diese Erklärung war multimodal und angelehnt an menschliche Erklärungen: „Ich erkenne eine Katze, weil dort Schnurrhaare und Krallen zu sehen sind und die Ohren ähnlich zu folgenden prototypischen Bildern von Ohren sind, die zu Katzen gehören.“ Die Erklärung, für die es zu dieser Zeit keine algorithmische Methode gab, enthielt also einerseits sprachlich formulierbare Konzepte und andererseits prototypische Bilder von Katzenohren. In der Folge entstand eine wachsende Menge an XAI-Methoden. Allerdings lag der Fokus zunächst auf Methoden der Merkmalsrelevanz (feature attribution methods). Diese Methoden heben bei Klassifikatoren für Bilddaten beispielsweise in Form einer heatmap hervor, welche Pixel im Eingabebild vor allem vom Modell genutzt wurden, um die Ausgabeklasse zu bestimmen. Eine der bekanntesten frühen XAI-Methoden dieser Art ist LIME (Ribeiro et al., 2016). LIME ist ein sogenannter modellagnostischer Ansatz, der für verschiedene Arten von Daten – Bilder, Texte, Tabellen – anwendbar ist. Die Methode basiert darauf, dass für die aktuelle Eingabe eine Menge von sogenannten perturbierten Varianten erzeugt wird, bei denen jeweils Teile der Information gelöscht werden. Die perturbierten Beispiele werden ins Modell eingegeben und darüber identifiziert, welche Informationen vorhanden sein müssen, damit eine bestimmte Klasse ausgegeben wird. Für Bildeingaben werden Pixelgruppen zu sogenannten Superpixeln zusammengefasst, die gemeinsam gelöscht werden.

Die Bezeichnung „Erklärbare KI“ ist etwas irreführend: Teilweise wurde der Begriff in der Öffentlichkeit so verstanden, dass es darum geht, die Funktionsweise von KI-Systemen zu erklären. Entsprechend wird inzwischen alternativ die Bezeichnung „erklärend“ (explanatory) verwendet (Teso & Kersting, 2019; Ai et al., 2021). Erklärbare KI meint auch nicht, dass ein KI-System einen bestimmten Wissensbereich allgemein erklärt, – dies ist die Domäne Intelligenter Tutorsysteme (Polson & Richardson, 2013; Zeller & Schmid, 2016) – sondern dass das Verhalten des Modells allgemein (globale Erklärung) oder für eine bestimmte Eingabe (lokale Erklärung) nachvollziehbar gemacht wird. Viele der ersten Forschungsarbeiten im Bereich XAI haben nicht berücksichtigt, wie komplex die Beziehung zwischen Erklärungen und deren Nutzen für die Nachvollziehbarkeit der Ausgaben von KI-Systemen ist. Es wurde angenommen, dass die Ergänzung einer Modellausgabe durch die Präsentation von relevanten Merkmalen unmittelbar zur Nachvollziehbarkeit führt. Diese naive Herangehensweise wurde insbesondere durch Tim Miller (2019) kritisiert, der aufzeigte, dass XAI notwendigerweise Theorien und empirische Ergebnisse aus der Kognitionswissenschaft und der Mensch-Computer-Interaktion berücksichtigen muss. Zudem stellte sich heraus, dass Erklärungen, die nachvollziehbar machen sollen, warum ein Modell für eine bestimmte Eingabe zu einer bestimmten Ausgabe kommt, nicht immer modelltreu (faithful) sind. Das heißt, dass die generierte Erklärung nicht mit dem Prozess übereinstimmt, mit dem das gelernte Modell die Eingabeinformation zur Ausgabe verarbeitet. Beispielsweise konnte für LIME gezeigt werden, dass die als relevant identifizierten Pixel stark variieren, je nachdem, wie diese vom Erklärungsalgorithmus zu Superpixeln gruppiert werden (Schallner et al., 2020). Inzwischen hat sich etabliert, dass Forschungsarbeiten, in denen XAI-Methoden präsentiert werden, eine Evaluation der Modelltreue enthalten müssen.

In den letzten Jahren hat sich die Erkenntnis durchgesetzt, dass Erklärungen nicht per se hilfreich dafür sind, KI-Systeme transparenter zu machen. Zudem gibt es, wie bei Erklärungen durch Menschen, nicht nur eine Art, ein Modell zu erklären. Neben den genannten Relevanzmethoden wurden Methoden für beispielbasierte Erklärungen, kontrafaktische Erklärungen und konzeptbasierte Erklärungen entwickelt (Schwalbe & Finzel, 2024, s. Abb. 10.3). Welche Art von Erklärung hilfreich ist, hängt vom Erklärungskontext ab, also davon, wem was für welchen Informationsbedarf erklärt werden soll (Schmid & Wrede, 2022). Die drei wesentlichen Zielgruppen für Erklärbare KI sind Modellentwickler, Domänenexpertinnen und -experten sowie Endverbrauchende.

Full size image

Für Modellentwickler ist es besonders relevant, unerwünschtes overfitting oder unfaire Verzerrungen im Modell zu identifizieren. Hier sind relevanzbasierte Methoden hilfreich, bei denen für eine Eingabe der Beitrag einzelner Merkmale zur Klassifikation dieser Eingabe aufgezeigt wird. Domänenexpertinnen und -experten benötigen dagegen Informationen, die sie dabei unterstützen, die Zuverlässigkeit einer bestimmten Ausgabe besser einzuschätzen, um zu entscheiden, ob sie dem System hier vertrauen oder besser ihrer eigenen, gegebenenfalls abweichenden Beurteilung folgen wollen. Beispielsweise können im Kontext von bildbasierten Diagnosen in der Medizin (Bruckert et al., 2020) konzeptuelle Erklärungen hilfreich sein. Während eine relevanzbasierte Methode lediglich zeigt, dass ein Tumor identifiziert wurde, indem das Tumorgewebe im Eingabebild hervorgehoben wird, ist es für die Einschätzung des Schweregrads des Tumors notwendig, Informationen über die Größe oder die Beziehung zwischen Tumorgewebe und anderen Gewebearten zu berücksichtigen. Sind Konzepte schwer zu benennen, etwa bestimmte Formeigenschaften, bieten sich hier beispielbasierte Erklärungen an (Herchenbach et al., 2022). Erklärungen für Domänenexpertinnen und -experten sollten also dabei helfen, das Vertrauen in ein System sinnvoll zu kalibrieren (s. Abb. 10.1). Beispielbasierte Erklärungen können sich auf die Präsentation von Prototypen (Kim et al., 2016) oder near hits und near misses (Rabold et al., 2022) beziehen. Near hits und near misses sind Beispieleingaben, die der aktuellen Eingabe ähnlich sind und vom Modell zur gleichen Klasse (near hit) oder einer anderen Klasse (near miss) zugeordnet werden.

Für Endverbrauchende ist es dagegen wichtig zu wissen, ob eine bestimmte Entscheidung, etwa über die Vergabe eines Kredits, die Höhe eines Versicherungsbeitrags oder die Genehmigung einer Fortbildungsmaßnahme, mittels Unterstützung eines KI-Systems erfolgt ist (allgemeine Transparenz). Um nachvollziehbar zu machen, wie eine bestimmte Entscheidung zustande kam, etwa die Ablehnung eines Kredits, können insbesondere kontrafaktische Erklärungen benutzt werden (Wachter et al., 2017). Hier wird bestimmt, welches Merkmal der Eingabe am wenigsten geändert werden müsste, damit das KI-System eine andere Klassenentscheidung treffen würde. Dabei sind nicht änderbare Merkmale ausgeschlossen. Beispielsweise wäre eine hilfreiche Erklärung, dass ein Kredit vergeben würde, wenn die gewünschte Summe zehntausend Euro geringer wäre. Wenig hilfreich wäre eine Erklärung, dass der Kredit vergeben würde, wenn die Person zehn Jahre jünger wäre. Die verschiedenen Arten von Erklärungen sind in Abb. 10.3 mit einem fiktiven Beispiel aus der bildbasierten industriellen Qualitätskontrolle (Herchenbach et al., 2022) illustriert.

Die genannten Arten von Erklärungen können ein KI-System, speziell intransparente tiefe Netze, als post hoc Erklärungen ergänzen, um so die Vertrauenswürdigkeitsanforderung der Transparenz zu erfüllen. Alternativ lassen sich direkt interpretierbare Ansätze des maschinellen Lernens nutzen, bei denen die gelernten Modelle in symbolischer Form repräsentiert werden (Atzmueller et al., 2024). Beispiele für solche Modelle sind Entscheidungsbäume, einfache Regressionsmodelle und mit induktiver logischer Programmierung (ILP) gelernte Programme. Interpretierbares maschinelles Lernen wird auch als starkes maschinelles Lernen (Muggleton et al., 2018) bezeichnet. Allerdings sind solche Ansätze nur auf Daten anwendbar, die in symbolischer Form vorliegen. Dies kann in Form von Merkmalen sein, die für Menschen bedeutsam sind (z. B. medizinische Messwerte wie Blutdruck und Cholesterinwert) oder in Form von relationalen Strukturen, etwa chemischen Molekülen. Neurosymbolische Ansätze, bei denen tiefe neuronale Netze zur Klassifikation von komplexen Daten, wie Bilder und regelbasierte Systeme, die etwa mit ILP gelernt werden, kombiniert werden (s. Abb. 10.2b), können auch als Beitrag zur Erklärbaren KI betrachtet werden. Erklärungen tragen also dazu bei, dass die Ausgaben von KI-Systemen nachvollziehbar werden (explain to understand). Sie sind aber auch eine Voraussetzung dafür, dass gelernte Modelle durch menschliches Feedback korrigiert und angepasst werden können (explain to revise, Finzel et al., 2024).

Transparenz ist eine wesentliche Voraussetzung für menschliche Aufsicht von KI-Systemen. Nur wenn nachvollzogen werden kann, aufgrund welcher Information ein KI-System zu einer bestimmten Ausgabe kommt, kann die Zuverlässigkeit und Qualität der Ausgabe beurteilt werden. Menschliche Kontrolle meint zunächst, dass die Entscheidung, sei es eine diagnostische Entscheidung in der Medizin oder die Entscheidung über eine Kreditvergabe, letztendlich immer beim Menschen liegen muss. Allerdings unterliegen Menschen aus verschiedenen Gründen dem sogenannten automation bias (Goddard et al., 2012; Gogoll & Uhl, 2018). Teilweise tendieren Menschen dazu, der Ausgabe eines scheinbar objektiven KI-Systems mehr zu vertrauen als ihrer eigenen Einschätzung; teilweise führt Zeitdruck dazu, Ausgaben von KI-Systemen nicht zu hinterfragen. Eine Möglichkeit, solchen Tendenzen entgegenzuwirken, ist die Gestaltung von Mensch-KI-Schnittstellen so, dass die menschliche Entscheidung priorisiert wird. Dies kann zum Beispiel dadurch realisiert werden, dass das KI-System im Hintergrund arbeitet und sich erst einschaltet, wenn die Ausgabe des KI-Systems und die Eingabe einer Entscheidung durch den Menschen voneinander abweichen. Alternativ kann es bereits hilfreich sein, wenn KI-Systeme direkt als partnerschaftliche Systeme (s. Abb. 10.4) konzipiert werden, bei denen Informationen dem KI-System und dem Menschen in geeignet aufbereiteter Form vorliegen. Ebenso sollte den Nutzenden deutlich gemacht werden, dass das KI-System nicht in jedem Fall korrekt, aber dennoch nützlich zur Entscheidungsunterstützung ist. Schließlich können Menschen die Wertigkeit ihrer eigenen Kompetenzen gegenüber dem KI-System besser wahrnehmen, wenn es die Möglichkeit gibt, dass der Mensch Ausgaben des Systems durch Rückmeldungen korrigieren kann und diese Korrekturen zur Modellrevision genutzt werden (Finzel et al., 2024; Gramelt et al., 2024).

Full size image

Die Möglichkeit zur Modellrevision durch menschliche Korrektur ist insbesondere auch in Bereichen sinnvoll, in denen zum Zeitpunkt des Modelltrainings die Menge oder die Qualität der Daten nicht genügt. Dies ist einerseits in hochspezialisierten Bereichen der Fall, etwa wenn es um spezielle Krankheitsbilder geht, andererseits immer dann, wenn die Annotation von Trainingsdaten sehr aufwendig ist (Troles et al., 2024). In diesem Fall kann man mit einem noch wenig performanten Modell starten und das Modell inkrementell durch menschliches Feedback verbessern. Des Weiteren bieten sich solche Methoden des interaktiven maschinellen Lernens (Fails & Olsen, 2003) an, wenn KI-Systeme als personalisierte Assistenten eingesetzt werden und sich entsprechend an individuelle Präferenzen anpassen sollen (Göbel et al., 2022). Die Korrektur von Ausgaben, wie Erklärungen eines KI-Systems, ermöglicht neben der expliziten Einbringung von Wissen durch wissensbasierte Systeme (hybride KI, s. Abb. 10.2a) einen zweiten Weg, menschliches Wissen in den Lernprozess einfließen zu lassen: Auch in Bereichen, wo es Menschen schwerfällt, das notwendige Wissen explizit zu formulieren, sind sie oft immerhin in der Lage, fehlerhafte Ausgaben und auch fehlerhafte Erklärungen zu identifizieren und entsprechend zu korrigieren (vgl. Schmid, 2024).

Zentrales Ziel für die Entwicklung partnerschaftlicher KI-Systeme ist es, dass Menschen und KI als gleichberechtigte Partner zusammenarbeiten. Damit können Menschen von der Stärke von KI-Systemen, Muster in sehr komplexen Datenmengen identifizieren zu können, profitieren und gleichzeitig ihre menschlichen Stärken – Erfahrungswissen und Verankerung in einer komplexen, physikalischen Realität – einbringen. Dies gilt speziell für komplexe und sensible Bereiche, in denen es keine Möglichkeit gibt, optimale oder korrekte Entscheidungen zu treffen. Die Gestaltung solcher partnerschaftlicher KI-Systeme ist eine interdisziplinäre Aufgabe, zu der KI-Forschung, Kognitionswissenschaft und Mensch-Computer-Interaktion gemeinsam beitragen müssen.

Vertrauenswürdige Künstliche Intelligenz umfasst technische und nichttechnische Anforderungen, die ein KI-System erfüllen muss, damit es als vertrauenswürdig gelten kann und Menschen dem KI-System vertrauen können. Performanz und Robustheit, Diskriminierungsfreiheit, Transparenz und Erklärbarkeit sowie menschliche Kontrolle und Aufsicht sind dabei die Anforderungen, die zumindest zu einem großen Teil technisch gelöst werden können. Solche Systeme entsprechen dem von Donald Michie (1988) vorgeschlagenen Konzept des ultrastarken maschinellen Lernens: Das gelernte Modell muss in der Lage sein, das, was es gelernt hat, so an Menschen zu kommunizieren, dass die menschliche Performanz dadurch besser ist, als wenn Menschen nur von den Daten selbst Kenntnis hätten (s. auch Muggleton et al., 2018).

Methoden zur Umsetzung der Anforderungen an Vertrauenswürdige KI wurden bislang vor allem für Klassifikationssysteme entwickelt. Für generative KI besteht hier noch großer Forschungsbedarf. Es gibt keine etablierte Methodik, mit der die Qualität generierter Inhalte automatisch beurteilt werden kann. Hier liegt die Verantwortung allein beim Menschen, die generierten Inhalte kritisch zu reflektieren und gegebenenfalls zu korrigieren. Auch hier wäre das Ziel die Entwicklung von geeigneten Schnittstellen für partnerschaftliche KI-Systeme, so dass das generierte Endprodukt als Co-Kreation zwischen Menschen und KI-System entsteht.