Offenheit durch XAI bei ML-unterstützten Entscheidungen: Ein Baustein zur Optimierung von Entscheidungen im Unternehmen?

Das Konzept der Offenheit lässt sich generell durch Transparenz, Zugang, Partizipation und Demokratie charakterisieren. Die Offenlegung von Informationen ermöglicht ein höheres Maß an Objektivität durch intersubjektive Überprüfbarkeit. Für die Wirtschaftsinformatik kann Offenheit als Treiber für innovative Lösungen fungieren. Ferner besteht die Möglichkeit, dass Offenheit das Ergebnis innovativer IT-Ansätze ist. (Schlagwein et al. 2017, S. 297).

Für betriebswirtschaftliche Entscheidungen stellt sich grundsätzlich die Frage nach dem Nutzen von Offenheit und IT-Unterstützung. Unter Berücksichtigung der begrenzten kognitiven Fähigkeiten des Menschen sind optimale Entscheidungen im betriebswirtschaftlichen Kontext i. d. R. nicht zu bewältigen. Durch den Einsatz von Künstlicher Intelligenz (KI) und dabei insbesondere von maschinellem Lernen („Machine Learning“, ML) im Unternehmen verspricht man sich mehr Effektivität und Effizienz. Offenheit lässt sich mit dem Treffen rationaler Entscheidungen verknüpfen. Diese weisen dann eine eindeutige und nachvollziehbare Mittel-Zweck-Relation auf: Aus mehreren Handlungsalternativen ist diejenige auszuwählen, welche der bestmöglichen Umsetzung unternehmerischer Zielsetzungen dient.

Unter KI wird nachfolgend die Fähigkeit zur Simulation von intelligentem Verhalten durch Systeme verstanden, indem Umgebungsdaten analysiert und daraus resultierende Aktionen zur Erreichung definierter Ziele in der Umgebung abgeleitet werden. Entsprechende Anwendungsfälle existieren sowohl in Software- (z. B. Spracherkennung) als auch in Hardware-Anwendungen (z. B. autonomes Fahren). (HLEG-AI 2021, S. 1; Merriam-Webster 2020; Russell und Norvig 2016, S. viii) Gegenwärtig diskutiert man im KI-Kontext in besonderem Maße Verfahren des ML, die im weiteren Verlauf fokussiert werden. Dabei handelt es sich um Algorithmen, die eigenständig und kontinuierlich ihre Leistungen durch Lernen verbessern. Dies wird realisiert, indem Muster in verfügbaren Datensätzen identifiziert, das dadurch erhaltene Wissen in einem statischen Modell berücksichtigt und dies auf neue Daten angewendet wird. Systeme entwickeln dadurch neuartige, subjektiv anmutende Lösungswege unter Berücksichtigung ihrer Umgebung. (Goodfellow et al. 2016, S. 2 f.; Merriam-Webster 2021; European Commission 2018, S. 11).

Beim ML-Ansatz soll eine datenbasierte Fundierung die Realität abbilden und optimale betriebswirtschaftliche Entscheidungen gewährleisten. Dabei stellt sich jedoch die Frage nach der Realistik dieses Vorhabens: Zum einen ist durch den Einsatz von ML die Realisierung transparenter und erklärbarer maschineller Entscheidungen nicht unmittelbar gewährleistet. Bei ML handelt es sich vielmehr oftmals um „Black-Box“-Ansätze. Diese Verfahren legen keine Korrelationen bzw. kausalen Zusammenhänge zwischen Variablen offen. Dadurch bleiben mögliche Bias-Effekte unentdeckt. Kombiniert man den ML-Ansatz mit dem Offenheitsprinzip, erscheint ein höheres Maß an Objektivität gewährleistet. Aus diesem Grund hat sich in jüngerer Vergangenheit die Erklärbarkeit von künstlicher Intelligenz („Explainable Artificial Intelligence“, XAI) als Forschungszweig etabliert (Arrieta et al. 2020). Die Ziele von XAI bestehen in der Erstellung transparenter und erklärbarer maschineller Entscheidungen sowie in der verständlichen Gestaltung der Funktions- und Arbeitsweisen von KI-Systemen. (Lipton 2016) Zum anderen sind im Rahmen der betriebswirtschaftlichen Entscheidungsfindung auf Basis von großen Datenmengen mit multiplen Korrelationen oftmals personenbezogene Daten zu berücksichtigen. Entsprechend müssen Unternehmen externe Regularien wie z. B. COBIT 2019 oder die Datenschutz-Grundverordnung (DSGVO) berücksichtigen und im Prozess der Datenbereitstellung und -auswertung ein gewisses Maß an Transparenz gewährleisten. Der vorliegende Artikel zeigt Möglichkeiten und Grenzen der Kombination von Offenheit und ML auf und gibt Gestaltungsvorschläge in Form von heuristischen Empfehlungen.

Ein zu Entscheidungen gehörendes Zielsystem ist bei der Verfolgung mehrerer, zum Teil widersprüchlicher Ziele durch Konflikte geprägt. Der Entscheidungsbegriff umfasst i. w. S. nicht nur einen Entschluss, sondern repräsentiert einen sich im Zeitablauf vollziehenden Prozess (Problemformulierung, Präzisierung des Zielsystems, Erforschen des Handlungsspektrums, Alternativenauswahl sowie Entscheidungen in der Realisierungsphase). (Laux et al. 2018, S. 12) Dabei sind Interdependenzen zwischen diesen Aktivitäten in einem holistischen Verständnis für die Optimierung zu berücksichtigen. Im Sinne der Performanz ist es wichtig, dass die Entscheidungsträger Informationen möglichst objektiv verarbeiten um Fehlentscheidungen zu vermeiden.

Verschiedene Wissenschaftsdisziplinen beschäftigen sich mit der Formulierung und Lösung von Entscheidungsproblemen. Die Entscheidungstheorie hat sich dabei als interdisziplinäres Forschungsgebiet herausgebildet, das sich mit dem Entscheidungsverhalten von Individuen und Gruppen (Entscheidungsgremien) befasst. Das menschliche Gehirn decodiert physikalische Größen, interpretiert sie und konstruiert daraus subjektiv eine zusammenhängende Realität. Große und komplexe Datenmengen können die kognitiven Fähigkeiten übersteigen und die daraus resultierende Informationsüberlastung führt nicht zu besseren Entscheidungen im Vergleich zu Methoden der rationalen Entscheidungsfindung. (Chlupsa 2017 und die dort zitierte Literatur, S. 3) Menschliche Entscheidungen werden immer sowohl durch explizite und implizite Emotionen bzw. Gefühle als auch Motive beeinflusst. Motive befähigen Menschen auf ähnliche Situationen mit gleichen Mustern zu interagieren. Basierend auf Wissen und Erfahrung eröffnet die Intuition von Fachexperten i.S.e. impliziten Motivation durch ganzheitliche Assoziationen ein Potenzial für nachhaltiges und verantwortliches Handeln. Um einen Expertenstatus zu erreichen, ist ein direktes Feedback bedeutsam. (Chlupsa 2017, S. 31) Bei Gruppenentscheidungen werden als zusätzliche Kriterien Kommunikation und Abstimmung zwischen den Beteiligten berücksichtigt. Typischerweise differenziert man in diesem Zusammenhang den Informations- und den Abstimmungsprozess. Es gibt jedoch auch kritische Stimmen zur Effizienz von Gruppenentscheidungen. (Chlupsa 2017, S. 274) Forschungsarbeiten über Gruppenentscheidungen greifen das Problem eines „gerechten“ Interessensausgleichs bzw. die Frage der Fairness von Präferenzordnungen auf.

Im Hinblick auf eine wirksame Kombination von menschlichen Entscheidungsträgern mit ML-Algorithmen spielt eine Vielzahl von Kriterien eine wichtige Rolle: Geschäftsvorfall und Wertschöpfung, Datensammlung und Datenquellen, Datenintegration und Datenqualität, ML-Methoden, eingesetzte Software und die Modellqualität, Kompetenzen der involvierten Personen und der Stakeholder sowie Kosten-Nutzenüberlegungen. (Neifer et al. 2021, S. 5400 ff.) Eingesetzte Black-Box-Systeme lassen definitionsgemäß keine Transparenz über innere Verhaltensweisen zu. Umgekehrt gewährleisten White-Box-Systeme per se jedoch keine Nachvollziehbarkeit der Entscheidungen durch menschliche Entscheidungsträger. Dies hängt zum einen von den methodischen Kenntnissen und Fähigkeiten der Entscheidungsträger als auch der Stakeholder ab. Mentale Modelle, d. h. wie Menschen KI bzw. ML wahrnehmen, spielen zum anderen eine wichtige Rolle. Beispielsweise ist davon auszugehen, dass Menschen nach Erklärungen suchen, wenn ein System zu unerwarteten Resultaten gelangt. Ein adäquates konnotatives Verständnis schafft hinreichendes Vertrauen und Akzeptanz sowie Bewusstsein für das Ergebnis. (Alizadeh et al. 2020).

Rationale unternehmerische Entscheidungen sind Mittel zur Zielerreichung (Schencking 2018, S. 120 ff.), i. d. R. um Wettbewerbsvorteile zu erzielen. Sie setzen mehrere potenzielle Handlungsalternativen voraus und sollen die bestmögliche Umsetzung unternehmerischer Zielsetzungen gewährleisten. (Holtmann 2008, S. 20 f.) In Unternehmen ist zwischen strategischen und operativen Entscheidungen zu differenzieren: Strategische Entscheidungen sind immer zukunftsbezogen, mit entsprechenden Unsicherheiten und Prognoseproblemen behaftet und insbesondere auf Effektivität ausgerichtet. (Amann und Petzold 2014, S. 49 f.) Operative Entscheidungen erweisen sich demgegenüber als überwiegend gegenwartsbezogen und sind auf Effizienz ausgerichtet. (Amann und Petzold 2014, S. 153 f.) Sie eignen sich tendenziell besser für den Einsatz von ML-Verfahren: Normative Aspekte wie Werte, Überzeugungen und grundlegende Einstellungen spielen für strategische Überlegungen eine wichtige Rolle. Die hieraus abgeleiteten Ziele existieren oftmals nur „verdeckt“. Operative Entscheidungen finden vergleichsweise in einem klaren Kontext von kostenmäßigen, zeitlichen und/oder qualitativen Restriktionen statt. Auch sind die Vollständigkeit der Entscheidungsalternativen und die Auswirkung auf Folgeentscheidungen für operative Sachverhalte leichter zu beurteilen. Einen weiteren Aspekt beinhaltet die Menge an verfügbaren Daten, die für eine Fokussierung auf operative Problemstellungen spricht.

Unternehmerische Entscheidungen werden durch normative Rahmenbedingungen reglementiert. Die dauerhafte Einhaltung rechtlicher und faktischer Ordnungsrahmen stellt dabei den Fokus für Governance und Compliance dar. Eine Adressierung von Offenheit erfolgt durch verschiedene Standards und gesetzliche Vorgaben, die in einer dezidierten Analyse im Kontext ML-gestützter Entscheidungen untersucht werden müssen.

IT-Governance verfolgt das Ziel, die zunehmend komplexer werdende Unternehmens-IT aus ganzheitlicher Perspektive zu steuern: Es sollen sowohl ein Wertbeitrag erbracht als auch Risikoaspekte berücksichtigt werden. Diese Prämisse ist für zugehörige Unternehmensentscheidungen relevant.

COBIT 2019, ein international anerkanntes Framework zur IT-Governance, forciert Offenheit an verschiedenen Stellen: Im Kontext seines aus fünf Modulen bestehenden Kern-Modells zeigt sich die Forderung nach Offenheit vor allem in den Modulen „Evaluate, Direct and Monitor (EDM)“, „Deliver, Service and Support (DSS)“ sowie „Monitor, Evaluate and Assess (MEA)“. (COBIT 2019) Während die Risiko-Optimierung im Rahmen von EDM eine implizite Offenheit im Rahmen des artikulierten Risikoverständnisses darstellt, beinhaltet das Governance-Ziel der Stakeholder-Einbindung bei IT-Performanz-Messungen im Rahmen der Transparenz-Forderung eine explizite Anforderung an Offenheit. Eine ML-gestützte Performanz-Messung sollte daher ein hohes Maß an Transparenz beinhalten. Das DSS-Modul erfordert u. a. eine Kontrolle der Geschäftsprozesse und lässt sich im Kontext von ML-Entscheidungen auf die Kontrolle von Eingabe, Durchsatz und Ausgabe anwenden. Dabei kann Offenheit helfen diese Anforderungen zu kontrollieren und sicherzustellen. Auch die Identifizierung von Problemen und deren Ursache lässt sich als implizite Forderung nach Offenheit interpretieren. Eine zusätzliche Forderung nach Offenheit im Rahmen von Performanz-Monitoring findet sich, neben der Forderung nach einem Konformitäts-Monitoring externer und interner Anforderungen, ebenfalls im Modul MEA: Prozesse sollen mit Hilfe von festgelegten Performanz- und Konformitäts-Metriken evaluiert werden. Bei ML-gestützten Entscheidungen ergibt sich hieraus die Anforderung zur Transparenzschaffung gegenüber einer potenziellen „Black-Box“-Entscheidung.

Die rechtlichen Rahmenbedingungen in Bezug auf KI befinden sich aktuell noch im Entwicklungsstadium, allerdings lässt sich eine Tendenz zur Forderung von Offenheit auf europäischer Ebene insbesondere durch die „Assessment List for Trustworthy AI“ (Alliance 2020) erkennen. Das Erreichen von vertrauenswürdiger KI soll durch Nachvollziehbarkeit, Erklärbarkeit und Kommunikation mit Benutzern erreicht werden. Offenheit manifestiert sich dabei im Aspekt der Erklärbarkeit, wobei nicht nur die Entscheidung dem User aufgezeigt, sondern auch kontinuierlich das Verständnis der KI-Entscheidung durch die Nutzer analysiert werden soll. Es muss dabei auch sichergestellt werden, dass Benutzer mit den Risiken, Limitierungen und Ziel des Systems vertraut sind. (Alliance 2020).

Im Rahmen der DSGVO findet sich die Verwendung von Offenheit und Transparenz explizit in Artikel 5 Absatz 1 (a). Die verwendete Definition von Transparenz lässt sich mit Hilfe von Erwägungsgrund 58 näher charakterisieren: Der zugehörige Fokus liegt auf Zugang, Verständlichkeit und Prägnanz (Sartor und Lagioia 2020). In diesem Kontext ist allerdings ein Unterschied zwischen transparenter und erklärbarer KI zu erkennen: Im Rahmen von ML-Systemen kann eine Unterteilung in Transparenz nach dem Zeitpunkt der Informationsverarbeitung vorgenommen worden. Die Artikel 13 Absatz 2 (f) und 14 Absatz 2 (g) DSGVO beziehen sich auf die Verarbeitung von Daten im Vorfeld und fordern eine Informationspflicht über die Existenz von Systemen mit automatisierter Entscheidungsfindung sowie über die Logik des Systems und vorgesehene Konsequenzen. Idealerweise soll hierbei der Nutzer bereits über die Daten, welche das System verarbeitet, sowie über deren Priorisierung informiert werden. Zudem sind der durch das System berechnete Zielwert sowie abgeleitete Konsequenzen an den Nutzer zu kommunizieren. Artikel 15 Absatz 1 DSGVO nimmt Bezug auf bereits verarbeitete Daten und entspricht den oben genannten Anforderungen. Detaillierte Ausführungen, ob Betroffene nur mit generellen Informationen versorgt werden müssen oder ob es individueller Erklärungen bedarf, existieren allerdings nicht.

KI und ML finden weltweit in vielen Branchen und Disziplinen Anwendung. Der gesellschaftliche und wirtschaftliche Alltag wird bereits heute durch unterschiedliche Ausprägungen, wie z. B. Spracherkennung bei digitalen Assistenten, durch KI geprägt. Die Komplexität der Anwendungsfälle kann dabei stark variieren und in einzelnen Fällen bessere Ergebnisse als menschliche Fachexperten erzielen wie beispielsweise in einer medizinischen Studie zur Erkennung von Hautkrebs nachgewiesen werden konnte. (Haenssle et al. 2018) Analysten der Unternehmensberatung McKinsey & Company bewerten die Auswirkungen von KI auf die Weltwirtschaft höher als die durch die Erfindung der Dampfmaschine im 19. Jahrhundert und dem Aufkommen von Informations- und Kommunikationstechnologien im 21. Jahrhundert. (Bughin et al. 2018) Häufig berücksichtigt man dabei nicht, dass KI lediglich als Überbegriff für eine eigenständige Disziplin innerhalb der Informatik fungiert, welche aus diversen Teilgebieten besteht. So werden bereits seit vielen Jahren Experten- bzw. regelbasierte Systeme kommerziell eingesetzt, welche auf klassischen Paradigmen der Informatik in Form von Wenn-Dann-Regeln beruhen.

Die Methodik zur Erstellung von ML-basierten Modellen unterscheidet sich jedoch stark von der Vorgehensweise bei der klassischen Softwareentwicklung, da ein großer Fokus auf den zugrunde liegenden Daten des jeweiligen Anwendungsfalls liegt. Mit CRISP-DM (Cross-Industry Standard Process for Data Mining) wurde im Jahr 2000 ein offener Entwicklungsansatz für Data Mining entwickelt, der sich bis heute als Industriestandard im Bereich Data Science etabliert hat und in sechs Phasen gegliedert ist. Zu Beginn der Entwicklungsaktivitäten wird der betriebswirtschaftliche Kontext sowie das Themenfeld (z. B. Ziele bzw. Problemstellungen, Abhängigkeiten) des jeweiligen Anwendungsfalls analysiert („Business Understanding“). Die Fokussierung auf die zur Verfügung stehenden Daten während der Entwicklung spiegelt sich in den folgenden Abschnitten „Data Understanding“ sowie „Data Preparation“: Zunächst unterzieht man die Daten einer detaillierten Analyse (u. a. Formate, Struktur-Redundanzen, Abhängigkeiten) und anschließend bereitet man das Resultat für die weitere Verarbeitung vor (u. a. Formatierung, Zusammenfassung). In Bezug auf die Verteilung von Ressourcen während des Entwicklungsprozesses entfällt ein Großteil der Aktivitäten auf dieses Segment. Anschließend werden auf Basis der bearbeiteten Daten verschiedene Modelle erzeugt („Modeling“), deren Performance anschließend evaluiert („Evaluation“) und ein finales Modell in den Anwendungskontext implementiert („Deployment“). Die Abschnitte von CRISP-DM sind jedoch nicht als sequenzielle Abfolge konzipiert. Vielmehr erlauben sie Freiheiten für Rücksprünge zwischen den verschiedenen Phasen. (Chapman et al. 2000) In der Zwischenzeit sind weitere Vorgehensweisen zur Entwicklung von ML-Modellen veröffentlicht worden, darunter auch CPMAI (Cognitive Project Management for Artificial Intelligence). Dieses Konzept ergänzt CRISP-DM um verschiedene Attribute, welche die einzelnen Aktivitäten detaillierter beschreiben.

Die Umsetzung des Entwicklungsansatzes lässt sich in Abhängigkeit von situativen Gegebenheiten (z. B. Anwendungsfall und Organisation) variieren, beispielsweise durch die Anreicherung mit agilen Methoden und Softwarekomponenten wie z. B. ML-Bibliotheken. Insbesondere in Bezug auf die verwendete Software steht Entwicklern in der Praxis eine große Anzahl an umfangreichen und offenen Frameworks zur Verfügung (z. B. Keras, TensorFlow und Scikit-Learn). Zudem besteht eine große Internet-Community für den Bereich ML, welche Hilfestellungen und Unterstützung bei der Umsetzung von Projekten bietet.

Unternehmen veröffentlichen entgegen dem Offenheitsprinzip häufig jedoch keine Details zur Umsetzung von KI- bzw. ML-Projekten und begründen dies mit Vertraulichkeitsaspekten. Betroffen davon sind i. d. R., neben den verwendeten Softwarekomponenten, die Spezifikation der Datengrundlage bzw. der zugehörigen Qualitätsstandards, die für den Erfolg des späteren ML-Modells ausschlaggebend sind. Als Konsequenz ergibt sich hieraus z. B. im B2C-Bereich, dass es für den Endkunden oftmals nicht ersichtlich ist, wie der Umgang mit personenbezogenen Daten durch automatisierte Systeme im jeweiligen Unternehmen erfolgt. In einzelnen Branchen und Fällen besteht allerdings ein Anrecht der Betroffenen auf Transparenz und Offenheit. Neben den bereits definierten regulatorischen Anforderungen definieren verschiedene Unternehmen interne Standards bei der Entwicklung und dem Betrieb von ML-Systemen. Dies ist beispielsweise auch unter dem Kontext zu sehen, dass der Bezug von ML-Software von Dritten zu potenziellen Risiken führt, da angewendete Vorgehensweisen im Rahmen der Entwicklung und verwendete Datensätze nicht transparent sind.

Die Prüfung auf Wirksamkeit von eingesetzten ML-Modelle kann auf Basis verschiedener, öffentlicher Aspekte erfolgen. Neben den eingangs beschriebenen internationalen und nationalen gesetzlichen Rahmenbedingungen existieren öffentliche Kompendien, welche die Prüfung von KI-Systemen anwendungsbezogen und unter Einbindung geltender gesetzlicher Vorgaben beschreiben (Lossos et al. 2019). Neben vollständig öffentlichen Ressourcen zur Prüfung von KI-Systemen lassen sich weitere Informationen über spezifische Fach- und Berufsverbände beziehen. Beispielsweise stellt der internationale Berufsverband Information Systems Audit and Control Association (ISACA) für Mitglieder Dokumente zur Verfügung, welche die Prüfung von KI- und ML-Systemen unterstützen. (Clark 2018) Wie auch bei der Entwicklung und dem Betrieb von ML-Modellen definieren individuelle Unternehmen darüber hinaus eigene Vorgehensweisen zur Prüfung der Wirksamkeit von ML-Modellen, welche jedoch i. d. R. nicht veröffentlicht werden. Diese basieren im Grundsatz auf einer Kombination von technischen und wirtschaftlichen Aspekten in Analogie zu den bereits beschriebenen Vorgehensweisen wie CRISP-DM und CPMAI und reichern diese mit weiteren Spezifika an. Hierunter fallen z. B. die Prüfung von KI-Projekten und -Prozessen auf Unternehmens- oder Bereichsebene.

Informationen zum operativen Einsatz von ML werden durch Unternehmen häufig im Rahmen von Use Case-Szenarien vorgestellt, die keine konkreten Details zu eingesetzten Software-Komponenten oder Entwicklungsaktivitäten beinhalten. Diese Vorgehensweise wird oftmals mit der Sicherung von Wettbewerbsvorteilen begründet. Im Kontext von ML-Projekten basieren diese jedoch insbesondere auf der jeweils zur Verfügung stehenden bzw. verwendeten Datengrundlage. Entsprechend sollten i. d. R. keine Einschränkungen bzgl. der Veröffentlichung eingesetzter Softwarekomponenten bestehen, da man im ML-Umfeld meist auf Open-Source-Tools zurückgreift. Die Datengrundlage hingegen bildet ein enormes Risikopotenzial durch fehlerhafte oder unvollständige Informationen, die ein verzerrtes Bild der Realität darstellen können. Hieraus resultieren ggf. fehlerhafte oder diskriminierende Entscheidungen, die einzelne Personengruppen benachteiligen. Entsprechende Vorfälle haben in der gesellschaftlichen Diskussion teilweise ein negatives Bild von KI-Anwendungen geprägt: So hatte bei Amazon fehlende Transparenz im Jahre 2015 dazu geführt, dass ein Recruiting-Tool wieder abgeschafft werden musste, da es die Lebensläufe von Männern automatisiert besser bewertete als von Frauen. (Dastin 2018) Dies begründet u. a. den Sachverhalt, dass viele Forschungs- und Entwicklungsansätze im Bereich Data Science ihren Fokus auf die Datenbasis legen, um entsprechende Risiken zu minimeren.

Die Nutzung von Offenheit im Rahmen der Entwicklung und dem Betrieb von ML-Algorithmen vermag Hinweise auf potenzielle Verzerrungen geben. In Datensätzen können vielfältige Bias-Formen entstehen (Mehrabi et al. 2019; Verma und Rubin 2018) und sich darüber hinaus gegenseitig beeinflussen. Ein Algorithmus, der auf einem Datensatz mit Bias entwickelt wurde, kann beispielsweise zu einer Verstärkung der Verzerrung führen, indem die ML-basierten Entscheidungen die Entstehung der zukünftigen Daten beeinflussen, welche man für zukünftige Trainingszyklen des Modells benutzt. Weitere Formen des Bias, wie Popularitätsbias, Rangbias oder entwickeltem Bias entstehen, indem der Algorithmus die Interaktionsmöglichkeiten des Benutzers beeinflusst. So führt bspw. der Rangbias in Suchmaschinen dazu, dass häufig angeklickte Seiten weiter oben in den Resultaten landen und dadurch auch häufiger als vermeintlich gewünschtes Ergebnis vorgeschlagen werden, was ihren Rang als relevantes Resultat noch weiter verstärkt. Benutzer ihrerseits vermögen es wiederum die zugrundeliegenden Daten für den Algorithmus durch Bias-Formen wie verlinktem, Inhalte-erstellendem oder Verhaltens-Bias zu beeinflussen. Datensätze mit zeitlichem Bias, Aggregationsbias oder historischem Bias beeinflussen den Algorithmus in seiner Vorhersage und Genauigkeit. Speziell ein historischer Bias manifestiert bereits bestehende Ungleichverteilungen, indem bspw. Suchresultate einen ungleichverteilten Datensatz wie das Verhältnis von weiblichen und männlichen Führungskräften liefern und leicht zu falschen Schlussfolgerungen bei menschlichen Entscheidungsträgern führen.

Verstärkte Bestrebungen zur Förderung von Offenheit in verschiedenen Bereichen der ML können Chancen für Unternehmen generieren und die technologische Entwicklung beschleunigen: Bereits bei der Entwicklung von ML-Algorithmen lassen sich durch transparente Kommunikation Ungleichverteilungen in Daten und Modellvorhersagen leichter identifizieren. Eine Möglichkeit, Offenheit im Kontext des operativen Einsatzes von ML zu fördern und gleichzeitig die Vertraulichkeit bzgl. der verwendeten Datengrundlage zu gewährleisten, besteht im Aufbau von unternehmensübergreifenden Partnerschaften. Dabei können zwischen den Beteiligten Informationen über Chancen und Risiken aber auch zu Vorgehensweisen im ML-Umfeld ausgetauscht werden, um aus bisherigen Erfahrungen neue Erkenntnisse zu gewinnen. Diese Vorgehensweise wird bereits in der KI-Forschung- und Entwicklung angewendet, findet aber im Sinne der Wettbewerbsorientierung ihre Grenzen.

Eine weitere Möglichkeit, Offenheit im Kontext von ML zu fördern, besteht für alle Unternehmen gleichermaßen und unabhängig voneinander durch den Einsatz von „Explainable-Artificial-Intelligence“ (XAI). Nachfolgend soll XAI als Lösungsansatz für Offenheit vorgestellt und kritisch beleuchtet werden.

Ziel von XAI ist die Schaffung von Offenheit in KI-Anwendungen durch transparente und erklärbare maschinelle Entscheidungen. Eine Erklärung stellt letztlich die finale Antwort auf eine Frage dar (Gilpin et al. 2018). Sie ist gebunden an Wissen, Kognition und an die individuellen Interpretationen eines menschlichen Empfängers. Hieraus ergibt sich ein Spannungsverhältnis zwischen Interpretierbarkeit und Vollständigkeit des Wissens. Interpretationen sind für den Rezipienten verständliche, mit für ihn bedeutungsbehafteten Begriffen formulierte Beschreibungen komplexer Systeme. Vollständigkeit fordert die Erfassung aller eine Entscheidungssituation prägenden Operationen und Informationen bzw. Parameter. Offenheit benötigt in diesem Kontext den Zugriff auf die Inputdaten des Modells und auf das trainierte ML-Modell. Mit dem Zeitpunkt, an dem die „Erklärbarkeit“ ansetzt, lassen sich drei generische XAI-Ansätze unterscheiden: (Khaleghi 2019)

Diese generischen XAI-Konzepte lassen sich in Form von „hybriden“ Ansätzen kombinieren, um den Zielkonflikt zwischen Erklärbarkeit und Performance zu lösen. Hybride Gestaltungsansätze zielen durch die Vermischung von White- und Black-Box-Modellansätzen darauf ab, die Leistungsfähigkeit bzw. die Vorhersagekraft eines Modells zu steigern, indem man z. B. ein neuronales Netz mit der Erklärbarkeit eines „White-Box“ Modells kombiniert (Arrieta et al. 2020). Die Verankerung von Vorhersage und Erklärung in einem Modell setzt allerdings nachvollziehbare Trainingsdaten voraus. Die durch hybride Systeme angebotenen Erklärungen repräsentieren weiterhin nicht den tatsächlichen Entscheidungspfad des Modells, sondern vielmehr eine vereinfachte, für den Menschen interpretierbare Beschreibung. Anpassungen der Architektur zur Schaffung von Erklärbarkeit fokussieren sich auf tiefe neuronale Netze und nutzen spezielle Verlust-Funktionen, um z. B. bei Prototypen einer Klassifikation zu lernen. Durch Hinzunahme von regulierenden Termen in den Verlustfunktionen sollen Modelle automatisiert ausgestaltet werden, deren Entscheidungsgrenzen sich durch „White-Box“ Modelle wie Entscheidungsbäume approximieren lassen. Dieses Ersatzmodell simuliert die Vorhersage in einer verständlicheren Art.

Eine Unterteilung von XAI in Abhängigkeit von der jeweiligen Funktionsweise ist ebenfalls möglich. Hierbei haben sich vier Ansätze zur Unterteilung herauskristallisiert: pertubationsbasierte, funktionsbasierte, Surrogate‑/Sampling-basierte und strukturbasierte Ansätze. Pertubationsbasierte Verfahren basieren auf dem Ansatz den Input des Models zu beeinflussen und daraufhin die Reaktion des Modells zu analysieren. Dieser Modell-agnostischer Ansatz identifiziert die Relevanz der Informationen auf Basis der Veränderung der Modellvorhersage. Meaningful Pertubations (Fong und Vedaldi 2017) ist ein Beispielansatz aus der Gruppe dieser Erklärmodelle. Funktionsbasierte Modelle, wie Sensitivity Analysis (Simonyan et al. 2014), sind den pertubationsbasierten Ansätzen sehr ähnlich, behandeln aber das zugrundeliegende ML-Modell als Funktion. Diese Methoden berechnen Quantifizierungen wie Gradienten und konstruieren Erklärungen auf Basis von diesen. Die dritte Klasse der Erklärmodelle, Surrogate‑/Sampling-basierte Ansätze, sind ebenfalls modell-agnostische Ansätze, wie bspw. LIME (Ribeiro et al. 2016). Sie beruhen auf dem Ansatz lokaler Annäherungen durch simple Funktionsmodelle und bilden Erklärungen auf dieser Basis. Strukturbasierte Ansätze, wie Layerwise Relevance Propagation (Bach et al. 2015), zeichnen sich durch eine modell-spezifische Funktionsweise aus. Diese berücksichtigen die Struktur des zugrundeliegenden ML-Modells und teilen bei komplexen Funktionen die Erklärung in Subfunktionen auf, um diese zu erklären und zu aggregieren.

Die aufgezeigten XAI-Ansätze bieten einerseits viele Möglichkeiten, Wissen über trainierte Modelle zu erlangen. Andererseits sind aber auch deren Grenzen näher zu definieren. Der Zielkonflikt zwischen Interpretierbarkeit und Vollständigkeit sorgt in komplexen Systemen leicht für Situationen, in denen das System entweder zu komplexe oder zu einfache und dadurch letztendlich irreführende Erklärungen produziert. Abstrakte Vektorräumen sind für den Menschen nicht verständlich und damit auch nicht interpretier- und erklärbar. (Holzinger et al. 2018) Post-hoc Ansätze können die Entscheidungsgrenzen der Modelle schätzen und erklären, aber sie berechnen keine optimale Lösung. Zudem zeigen die dargestellten XAI-Ansätze zwar Überschneidungen mit den aktuell diskutierten Ansätzen zur „Fairness-Schätzung“ (Gajane und Pechenizkiy 2018), sind damit aber nicht gleichzusetzen. Bei diesen Ansätzen geht es im Kern darum, Verzerrungen in den für das Training verwendeten Datensätzen und damit verbundene Diskriminierungen auf unterschiedlichen Ebenen in maschinellen Entscheidungen erkennen und ausschließen zu können. XAI-Methoden liefern eine Hilfestellung dafür, Verzerrungen in den Trainingsdaten transparent sowie erklärbar zu machen und leisten insoweit einen Beitrag zur Schaffung von „Fairness“. Sie können Modell-Artefakte und versteckte Korrelationen erkennbar machen und es somit den Entwicklern ermöglichen den Grund für mögliche Diskriminierungen erkennbar zu machen. (Arrieta et al. 2020) Es ist daher erforderlich, Varianten der Fairnessschätzung mit XAI-Methoden zu kombinieren.

Eine Bewertung der berechneten Erklärungen sollte im unternehmerischen Kontext der Anwendung erfolgen und kann anhand verschiedener Kriterien bspw. durch das „Fact-Sheet“ vorgenommen werden. (Sokol und Flach 2020) Neben funktionalen und operativen Anforderungen stellen Nutzbarkeit, Sicherheit und Privatsphäre sowie Validierungen der Erklärungen durch die Nutzer verschiedene Bewertungsgruppen mit jeweils mehreren Kriterien dar. Die Kausalität einer Erklärung, als Teil der operativen Anforderungen, stellt dabei eine besondere Herausforderung dar. Dem Nutzer muss bewusst sein, dass ein Unterschied zwischen Erklärungen aus kausalen- und nicht-kausalen Modellen besteht, da ansonsten kausale Fehlschlüsse auftreten. Eine Vertiefung dieser Bewertung kann im Kontext der Kausalität anhand des 3‑Schichten kausalen Hierarchie-Modells (Pearl 2018) analog der Forderung nach „Causability“ (Holzinger et al. 2019) vorgenommen werden. Der Ausdruck „Causability“ stellt hierbei den Grad des geschaffenen kausalen Verständnisses einer Erklärung dar, bewertet anhand von Effektivität, Effizienz und Nutzerzufriedenheit. Das 3‑Schichten-Modell zur kausalen Hierarchie beschäftigt sich auf der ersten Schicht mit der Beeinflussung des Glaubens über den Modelloutput durch die Beobachtungen eines Einflussfaktors. Dabei soll die Frage nach dem „Wie verändert sich mein Glaube über das Eintreten von Y wenn ich X beobachte?“ geklärt werden. Auf zweiter Schicht erfolgt eine Bewertung anhand des Einflusses im Rahmen der Durchführung eines bestimmten den Output beeinflussenden Faktors, also die Beantwortung der Frage: „Was passiert, wenn eine bestimmte Tätigkeit X durchgeführt wird?“. Im Rahmen der dritten Schicht wird die Retrospektive verwendet um eine Einschätzung über die Ursachen-Wirkungsbeziehung bei bereits beobachteten Daten herausstellen zu können.

Diese Schichten sollten anhand der Messung zur Effektivität der Erklärung, der Effizienz im Sinne von minimaler Zeit und Aufwand, sowie der Nutzerzufriedenheit bewertet werden. Die Evaluation der Nutzerzufriedenheit ist bereits auf der Ebene des „Fact-Sheets“ integriert, wird aber nicht im Rahmen des kausalen Hierarchie-Modells herangezogen und könnte somit um die Bewertung des kausalen Zusammenhangs erweitert werden. Als Maß zur Berechnung der Nutzerzufriedenheit kann beispielsweise die „System Causability Scale“ (Holzinger et al. 2020), basierend auf der Likert Skala, herangezogen werden.

Der Bedarf an Offenheit im Kontext von KI-basierten Entscheidungen entsteht daraus, dass ohne eine Erklärbarkeit der Entscheidungsfindung, keine Möglichkeit besteht diesen zu verifizieren, zu verbessern oder von diesem zu lernen (O’Neil 2016). XAI als Tool zur Verdeutlichung der Entscheidungsfindung von ML-gestützten Entscheidungen ist dabei bereits integraler Bestandteil im KI-Entwicklungsvorgehen von Unternehmen.

Um rationale unternehmerische Entscheidungen zu fördern und diese validierbar zu machen, ist der Mittel-Zweck-Charakter von Entscheidungen im Unternehmen zu reflektieren. Sieht man ein Unternehmen als sozioökonomisches System an, muss die Frage gestellt werden, welche Ziele verfolgt werden und in welchem Verhältnis diese zueinanderstehen. Dabei können auch „verdeckte“, d. h. nicht offen gelegte Zielsetzungen existieren. Rationalität basiert darüber hinaus auf Vollständigkeit der Entscheidungsalternativen, die trotz der Verfügbarkeit von großen Datenmengen nicht gegeben sein muss.

ML-Systeme bieten Chancenpotenziale, unternehmerische Entscheidungen durch geeignete Datenmodelle zu verbessern. Die damit verbundenen Risiken sowie regulatorische Aspekte machen Offenheit im Sinne eines XAI-Einsatzes erforderlich, um entsprechende Vorhaben zu fördern. Entscheidungen müssen intersubjektiv nachvollziehbar begründet werden und ein Mindestmaß an Valenzen im soziologischen Sinn und an Resilienz aufweisen. Ferner sind Erkenntnisse aus Untersuchungen von Gruppenentscheidungen zu berücksichtigen, um die Interaktion zwischen Benutzer(n) und ML-Systemen adäquat auszugestalten. Die aufgezeigte Problematik der XAI-Verfahren verdeutlicht die Notwendigkeit zusätzlicher Instrumente zur Schaffung von Transparenz und Rationalität in unternehmerischen Entscheidungen.

Unter Heuristiken versteht man generell aufgestellte Regeln zur Entwicklung von „guten“ Lösungen, ohne deren Optimalität und Zuverlässigkeit garantieren zu können („Daumenregeln“). Bei der Konstruktion und Evaluation kommt es primär auf deren praktische Einsetzbarkeit und Lösungsqualität an. Entscheidendes Prüfkriterium für die Beurteilung von Heuristiken im XAI-Kontext ist die Frage: Sind sie zur Konstruktion von kooperativen Entscheidungssituationen zwischen Mensch und Maschine geeignet? Dies ist der Fall, wenn die zusätzlich generierte Offenheit die Ableitung besserer Lösungen in unternehmerischen Entscheidungssituationen ermöglicht.

In Analogie zum Ansatz der Evaluierung von Industrie 4.0 Konzepten als soziotechnische Systeme („Heuristik 4.0“) (Hirsch-Kreinsen und Karačić 2019) wird ein sich auf mehrere Ebenen erstreckendes Postulat für die Ausgestaltung der Kooperation vorgestellt:

Das Ziel besteht in der Identifikation möglicher Verbesserungspotenziale für konkrete ML-Projekte zur Unterstützung operativer betriebswirtschaftlicher Entscheidungen. Der Wirkungsgrad einer Heuristik lässt sich allerdings erst bestimmen, wenn hinreichende Einsatzerfahrungen vorliegen. Sowohl die aufgezeigten Kriterien als auch der Austausch von Erkenntnissen im praktischen Einsatz basieren auf offenem Feedforward und Feedback. Dieses Konstrukt erweist sich als Grundlage für einen verantwortungsvollen Umgang mit dem Einsatz von ML für unternehmerische Entscheidungen. Offenheit kann damit einen wichtigen Beitrag für innovative Weiterentwicklungen im XAI-Bereich führen.