Nachweislich eine gute Entscheidung: Qualitätssicherung für künstlich-intelligente Verfahren in der Industrie

Verfahren Künstlicher Intelligenz (KI) erfordern in ihrer aktuellen Nutzung ein hohes Maß an Vertrauen, da die Nachvollziehbarkeit ihrer technischen Prozesse eine große Herausforderung darstellt. Sowohl die adaptive (selbstlernende) Beschaffenheit von Algorithmen, deren Logiken sich nicht direkt erschließen, als auch die in zahlreichen Schritten überarbeiteten Datensätze, die die Grundlage moderner KI-Verfahren bilden, erschweren eine Nachvollziehbarkeit. In vielen kritischen Einsatzsituationen – wie etwa in der industriellen Fertigung – kann ein solches Vertrauen nicht erbracht werden. Die Nutzung KI-basierter Systeme ist damit noch immer ein Risiko, da durch technische Fehlentscheidungen, die nicht nachvollzogen werden können, hoher Schaden für die Unternehmen entstehen kann.

Insbesondere für moderne KI-Verfahren (wie das maschinelle Lernen) sind Verfahren zur Qualitätssicherung bisher nicht ausreichend etabliert, weder für die Überprüfung durch geschultes Fachpersonal im Unternehmen selbst noch für die Kontrolle durch außenstehende Prüfstellen. Zwar sieht die europäische Datenschutz-Grundverordnung (DSGVO) bereits Transparenzpflichten für komplexe Algorithmen vor, in der Praxis müssen jedoch erst Wege für die Umsetzung dieser rechtlichen Anforderungen gefunden werden. Zunehmend werden Erklärungsmodelle für künstlich-intelligente Systeme erforscht und erprobt (vgl. Kapitel Anforderungen, Anwendungen und Lösungsansätze erklärbarer Künstlicher Intelligenz von Kraus und Ganschow in diesem Band), doch auch diese erfordern noch immer ein hohes Expertenwissen und eignen sich darum selten für eine externe Überprüfung. Bisher gibt es nur wenige Modellprojekte, die in Zukunft einer unabhängigen Zertifizierungsstelle oder auch Fachpersonal ohne Informatik-Expertise dienen könnten.¹ Für eine generelle Debatte zur erklärbaren KI bleibt die Frage zu beantworten, an welchen technischen Details und für welche Nutzerschaft eine Erklärbarkeit konkret ausgearbeitet werden soll.

Aktuell werden Ansätze zur Erklärbarkeit verstärkt in der Informatik und in den Ingenieurwissenschaften erarbeitet (siehe Bundesministerium für Wirtschaft und Energie, Kraus, T. et al. (2021)) und weniger in interdisziplinären Forschungsprojekten, die eine soziologisch und psychologisch informierte Nutzer- und Organisationsforschung einbinden. Es zeichnet sich jedoch ab, dass ein interdisziplinärer Ansatz für nachweisbare Erklär- und Kontrollierbarkeiten sehr gewinnbringend wäre, da die notwendigen Erklärungen, um Vertrauen zu schaffen, nicht allein im technischen Verständnis liegen. Auch manche sozialen und organisatorischen Bedingungen, in denen die Technologie heute entwickelt und angewandt wird, müssen für eine Nachvollziehbarkeit strukturell offengelegt werden.

Diese Bedingungen stehen im Fokus des folgenden Beitrags: Um KI-Systeme konstruktiv erklären und kontrollieren zu können, bedarf es einer Untersuchung, wie Entwicklung, Training, Konfiguration und Anwendung KI-basierter technischer Verfahren heute organisiert sind und welche interdisziplinären Analysen notwendig sind, um zentrale Stellen im Entwicklungsprozess ausfindig zu machen, die diejenigen kennen sollten die die Software nicht gestaltet haben, aber diese nutzen, prüfen oder kontrollieren müssen.

Damit KI durch unabhängige Dritte, z. B. im Rahmen von Zertifizierungen geprüft werden kann, muss sie erklär- und kontrollierbar gemacht werden. Erklärbarkeit bedeutet in diesem Kontext, inwieweit das System in der Lage ist, für die (typischen) Nutzer:innen (vgl. dazu auch das Kapitel „Humanzentrierte künstliche Intelligenz“ von Wirth et al. in diesem Band) verständliche Erklärungen bestimmter Ergebnisse seiner informationsverarbeitenden, algorithmischen Prozesse bereitzustellen bzw. auch die grundlegende Logik dieser Prozesse verständlich zu machen (das Wie und Warum). Die Erklärbarkeit künstlich-intelligenter Systeme wird bereits seit Längerem in der Informatik und verwandten Disziplinen intensiv diskutiert (Confalonieri et al. 2021).

Die Kontrollierbarkeit hingegen geht einen Schritt weiter und bezieht sich auf die Möglichkeiten der Nutzer:innen, in einem von künstlich-intelligenten Systemen geprägten Arbeitsumfeld qualitativ unterschiedliche Handlungsziele, -wege und -schritte zu wählen, wobei die einzelnen Wege möglichst sicher zu den jeweiligen Zielen führen sollen. Eine Änderung der Prozessschritte zur Erreichung bestimmter Ziele muss dem Nutzenden durch das Technikdesign ermöglicht werden. Die zugrunde liegenden Konstrukte der Handlungsregulation und der Kontrolle stammen aus der Arbeits- und Ingenieurpsychologie (Oesterreich 1981; Hartmann 2020). Beide Aspekte werden im folgenden Beitrag am konkreten Einsatz einer KI-Technologie in der Industrie auf ihre Ermöglichung hin geprüft (vgl. dazu auch den Beitrag von Hartmann in diesem Band).

Zur Prüfung der Umsetzbarkeit der Erklär- und Kontrollierbarkeit (ggf. auch für eine zukünftige Zertifizierung) wird für die Analyse des Praxisbeispiels die Bewertungsliste ALTAI (The Assessment List for Trustworthy Artificial Intelligence) herangezogen. Die High-Level Expert Group on Artificial Intelligence der Europäischen Kommission hat darin sieben Kategorien für die Vertrauenswürdigkeit von künstlich-intelligenten Systemen aufgestellt (Stix 2020). Unternehmen können anhand der Liste ihre KI-Produkte selbst auf Vertrauenswürdigkeit hin überprüfen. Die Bewertungskriterien fordern unter anderem, dass menschliches Handeln und Aufsicht in die Prozesse integrierbar sein müssen, dass die technische Robustheit und Sicherheit von KI-Systemen gewährleistet werden und dass Transparenz auf verschiedenen Ebenen angeboten wird (Stix 2020). Diese drei Kategorien „Robustheit“, „Transparenz“ und „Menschliches Handeln und Aufsicht“ werden im Folgenden auf das Praxisbeispiel angewendet und dabei gleichzeitig weiterentwickelt.

Ein weiterer Kriterienkatalog, der für KI-Systeme in der Industrie relevant sein könnte, ist der Kriterienkatalog, den Kraus et al. (2021) auf Basis von Arrieta et al. 2019 zu acht übergeordneten Zielen, die eine Erklärbarkeit ermöglichen sollen, zusammenfasst. Eine nachweisbare Erklärbarkeit soll dabei unter anderem „Kausalitätsbeziehungen plausibilisieren“, „Informationsgewinn erhöhen“, „Konfidenz bestimmen“, „Interaktionsmöglichkeiten verbessern“ und „Verantwortlichkeiten klären“. (Bundesministerium für Wirtschaft und Energie, Kraus et al. 2021: 16) Wenngleich Erklärbarkeit je nach Anwendungsfall eines KI-Verfahrens immer wieder neu gestaltet werden muss, bieten solche Kriterien die Möglichkeit, Übertragbarkeiten zu testen (Bundesministerium für Wirtschaft und Energie, Kraus et al. 2021: 16) und zwischen den empirischen Befunden der Einzelfälle zu vermitteln. Als Initiative in dieser Sache ist zudem die KI-Normungsroadmap des Deutschen Instituts für Normung zu nennen sowie die Initiative des Fraunhofer-Instituts für Intelligente Analyse- und Informationssysteme IAIS und des Bundesamtes für Sicherheit in der Informationstechnik, die aktuell Zertifizierungsansätze für KI-Systeme entlang konkreter Use Cases auf ihre Praxistauglichkeit testen (Deutsches Institut für Normung 2020; Fraunhofer IAIS 2021).

In diesem Abschnitt wird die Verwendung eines KI-Verfahrens in der Industrie vorgestellt und im Anschluss anhand der ALTAI-Kriterien „Robustheit“, „Transparenz“ und „Menschliches Handeln und Aufsicht“ geprüft. Es handelt sich um ein fiktives Szenario, das aus Einblicken in die aktuelle Praxis unterschiedlicher Unternehmen zusammengestellt wurde. Die Grundlage der Szenario-Beschreibung und seiner anschließenden Analyse bilden in 2019 durchgeführte Arbeitsplatzstudien bei fünf Unternehmen im metallverarbeitenden Gewerbe und einer begleitenden Literaturrecherche. Ein Teil der Unternehmen erprobt bereits prototypische KI-Verfahren in einzelnen Prozessen, der andere Teil der Unternehmen sieht zwar das Potenzial von KI-Verfahren für einzelne Prozessschritte, benennt aber ebenso auch die Herausforderungen aktueller KI-Technologien für die Umsetzung in der Praxis. Diese Erfahrungsberichte machen die organisatorischen und technischen Neuheiten von KI als Technologie in der Praxis deutlich. Durch die Synthese der Erfahrungen zu einem Fall kann geprüft werden, an welchen Stellen Erklär- und Kontrollierbarkeiten mitgedacht werden müssen und wo eine Zertifizierung Transparenz − und damit Qualitätssicherung − in KI-Verfahren einbringen könnte.

Das mittelständische Metallverarbeitungsunternehmen „Round“ liefert Metallteile für die Luft- und Raumfahrt. Aufgrund seiner hohen Risiken ist dieser Industriezweig stark reglementiert und zertifiziert – jeder Bearbeitungsschritt muss nachvollziehbar und transparent sein, um eine lückenlose Qualitätssicherung zu ermöglichen. Das Unternehmen plant den Einsatz eines maschinellen Lernverfahrens zur Fehlererkennung. An den Metallteilen sollen dünne Risse, Einkerbungen oder Dellen erkannt werden, die mit bloßem Auge kaum zu sehen sind. Eine Herausforderung für das Unternehmen ist, dass auch beim Einsatz dieses neuen Verfahrens externe Prüfer:innen eine Qualitätssicherung durchführen können sollen und dass auch die eigenen Facharbeiter:innen, die das neue Tool nutzen, die KI-basierte Fehlererkennung mit ihrer eigenen Erfahrung überprüfen können sollen. Für das Unternehmen ist klar, dass die KI-Technologie in diesem kritischen Verfahrensschritt nur eine Ergänzung und kein Ersatz menschlicher Überprüfung sein kann. Eine Erklärbarkeit, die sich direkt an die Maschinennutzer:innen richtet, ist darum essenziell. Eine vollautomatisierte Weiterleitung anscheinend fehlerfreier Metallteile wird auch in Zukunft beim Unternehmen „Round“ nicht erfolgen.

Es arbeitet darum an der Erklärbarkeit dieses KI-basierten Systems. An den maschinellen Lernverfahren ist neu, dass Algorithmen auf Basis einer selbsttätigen Mustererkennung aus vorhandenen Datensätzen hervorgehen, anstatt als regelbasierte Rezepte von Entwickler:innen selbst geschrieben zu werden, wie es in vorherigen KI-Generationen der Fall war. Dadurch verändern sich die Berechnungslogiken stetig und sind nicht ohne Weiteres nachzuvollziehen (vgl. Pentenrieder 2020: 32). Die Verfahren (v. a. neuronale Netze) sind zudem „vielschichtig und verflochten. […] Modelle reproduzieren Muster und Strukturen aus einer limitierten Datengrundlage“, deren Logiken die darauf aufbauenden Entwickler:innen nicht kennen (Mangelsdorf et al. 2021: 1).

Aus Sicht der Produktionsleitung bietet das maschinelle Lernverfahren jedoch den Vorteil, „Toleranz“ in die Fehleranalyse einzubringen, was bedeutet, dass die KI Fehler erkennen könnte, die alte Bildverarbeitungen nicht erkannt haben, und ggf. auch auf neue Fehlersystematiken hinweisen kann, von denen auch langjährig erfahrene Facharbeiter:innen lernen könnten. Aktuell erkennt das Trainingsmodul vier verschiedene Geometrien und acht verschiedene Sorten von Metallteilen. Mit diesem neuen Verfahren könnten dann auch Metallteile für unterschiedliche Zwecke gleichzeitig in einer Verarbeitungsschiene bearbeitet werden.

In diesem Abschnitt werden die ALTAI-Kriterien „Robustheit“, „Transparenz“ und „Menschliches Handeln und Aufsicht“ skizzenhaft auf das Praxisbeispiel der KI-basierten Fehlererkennung angewendet. Aus dem Transfer der EU-Kriterien in die Praxis werden anschließend weitere Handlungsbedarfe abgeleitet.

Ein Zertifikat beglaubigt etwas, wertet etwas auf – welche Werte sollten einer europäisch geprägten KI für die Nutzung bescheinigt werden? Aus dem ALTAI-Prüfkatalog zur vertrauenswürdigen KI wurden drei Kriterien ausgewählt, die auch in der Industrie die digitale Souveränität der Facharbeiter:innen unterstützen: „Technische Robustheit“, „Transparenz“ und „menschliches Handeln und Aufsicht“. An diesen Kriterien wurde ein Praxisbeispiel aus dem metallverarbeitenden Gewerbe geprüft. Daraus gehen sowohl für die interne Prüfbarkeit durch Fachkräfte als auch für die externe Qualitätssicherung folgende Handlungsbedarfe hervor.

Robustheit und Erklärbarkeit der algorithmischen Systeme am Arbeitsplatz sind Querschnittsthemen, die nicht allein von technischen Exper:innen verantwortet werden können. Die Herausforderung ist groß, eine KI so zu konstruieren und in den Arbeitsalltag einzubetten, dass eine Fachkraft überhaupt die Möglichkeit erhält, entgegen eines KI-Vorschlags sagen zu können, dass es sich hier um einen Fehler handelt, der zur Aussortierung eines Metallteils führen muss – anders als es die KI vorgegeben hätte. Um diese Handlungsfähigkeit der Endnutzer:innen zu gewährleisten, müssen die ungefähren Abläufe, die zur Erstellung dieser KI-Empfehlung geführt haben, für die Fachkraft transparent sein (siehe Abb. 1). Um diese Transparenz passgenau und bedarfsgerecht gestalten zu können, sollten Erklärungsansätze aus der Informatik mit der Perspektive informierter Nutzer:innen in Form von dezidierter Nutzerforschung ergänzt werden. Die Erklärungen zum KI-System müssen sich an jene richten, die die Software nicht entwickelt haben und womöglich auch kaum Kompetenzen in der Informatik und IT-Technik haben. Diese Art von nutzerzentrierter Softwareentwicklung wird über einen partizipativen Austausch zwischen Domänenwissen, KI-Kenntnissen, organisatorischem Wissen und sozialen Effekten ermöglicht. In den aktuellen Debatten zur erklärbaren KI ist ein solches nutzerzentriertes Denken, das von interdisziplinären Perspektiven gestützt wird, noch immer unterrepräsentiert.⁵ Ein Konfidenzwert etwa, wie er in zahlreichen Machine-Learning-Anwendungen und auch im oben dargelegten Beispiel genutzt wird, um die Vertrauenswürdigkeit einer KI-Empfehlung als Prozentsatz anzuzeigen, reicht als nutzerzentrierte Erklärbarkeit nicht aus. Farbliche Darstellungen wie die oben dargelegte Unterscheidung zwischen den von der KI und den vom Team identifizierten Schäden sind eine weitere Maßnahme für nutzerzentrierte Transparenz, denn sie machen weitere zugrunde liegende Prozessschritte über die Benutzeroberfläche transparent. Dies hat positive Effekte für die Teamarbeit und reduziert Risiken einer Fehlentscheidung für das Unternehmen, denn die Robustheit der Technik kann somit von einem größeren Team überprüft werden. Langfristig kann ein solches Technikdesign auch auf volkswirtschaftlicher Ebene positiven Einfluss auf die Wettbewerbsfähigkeit europäischer KI-Technologien haben, wenn die Überprüfbarkeit KI-basierter Systeme ins Technikdesign einbezogen und zu einem Alleinstellungsmerkmal europäischer KI wird.

Aus dem Bedarf an nutzerzentrierter KI-Technologie leitet sich der Bedarf nach interdisziplinären Methoden für die Technikgestaltung ab. Die Partizipation der Nutzenden sollte von Anbeginn einer Technikentwicklung auch finanziell und zeitlich miteingeplant werden. Es bedarf einer ausgeprägteren Förderung KI-bezogener Nutzerforschung, bei der gerade die fordernden und nur schwer zufriedenzustellenden Nutzenden ins Zentrum rücken und proaktiv in die Gestaltung von Technik eingebunden sind. Eine Erprobung partizipativer Verfahren in Unternehmen und mit wissenschaftlicher Begleitung ist dafür erfolgsversprechend. Selbst Schulungskonzepte können gewinnbringend auf dieser Vorarbeit aufbauen, womit sich die partizipative Vorarbeit im späteren Verlauf einer KI-Nutzung womöglich sogar als Kostenersparnis auszahlen könnte. Die Erprobung solcher Methoden partizipativer Technikgestaltung steht im Zentrum eines Workshops des Projekts „Digitale Souveränität in der Wirtschaft“, der Anfang Dezember 2021 digital vom Institut für Innovation und Technik veranstaltet wird.