Im Interview erklärt Fraunhofer-Experte Dr. Daniel Schneider, wie Künstliche Intelligenz (KI) verlässlich und vertrauenswürdig entwickelt werden kann.
Dr. Daniel Schneider leitet die Hauptabteilung "Dependable Systems" des Fraunhofer-Instituts für Experimentelles Software Engineering (IESE).
Fraunhofer IESE
IT-Director: Herr Dr. Schneider, was versteht man eigentlich unter "Dependable AI (Verlässliche KI)"?
Daniel Schneider: Allgemein gesprochen geht es bei Dependable AI um Systeme, welche KI einsetzen, aber trotzdem verlässlich sind. Verlässlich sein heißt, dass sie sicher im Sinne von Safety und Security sind, aber auch zuverlässig und verfügbar. Man kann sich also auf diese Systeme buchstäblich verlassen und ihnen vertrauen.
Wie können KI-Systeme so entwickelt werden, dass sie verlässlich und vertrauenswürdig sind?
KI-Systeme, aktuell sprechen wir hier vor allem über Machine Learning (ML) und Neuronale Netze, werden fundamental anders entwickelt als klassische Software-basierte Systeme. Neuronale Netze werden mit großen Mengen an Daten trainiert, um sie ein bestimmtes Verhalten oder eine Fähigkeit lernen zu lassen. Die Funktionalität eines solchen KI-Systems wird also nicht klassisch programmiert, sondern erlernt – ganz ähnlich wie es auch der Mensch tut. Die Herausforderung dabei ist, dass ein solches System aufgrund seiner Struktur und Komplexität für den Entwickler nicht gut verständlich und analysierbar ist. Das heißt, dass man insbesondere auch nicht nachweisen kann, dass das System stets das tut, was es soll.
Wie können wir KI-Systeme dann trotzdem verlässlich gestalten?
Ganz generell gibt es dafür keine One-size-fits-all-Lösung, sondern jedes KI-System muss individuell betrachtet werden. Wir am Fraunhofer IESE nutzen State-of-the-Art-Ansätze aus den Bereichen des Safety, Security und Systems Engineering, ergänzt um zusätzliche innovative Ansätze aus unserer eigenen langjährigen Forschung in diesen Bereichen. Es wird dann z.B. für ein sicherheitskritisches System ein individuelles und anwendungsspezifisches Sicherheitskonzept erstellt, welches Maßnahmen auf verschiedenen Ebenen kombiniert. Dabei berücksichtigen wir natürlich auch die relevanten regulatorischen und gesetzlichen Vorgaben. Letztlich ist wichtig, dass über alle Einzelbausteine der Lösung hinweg die Sicherheit des Gesamtsystems überzeugend, also gestützt durch belastbare Evidenzen, argumentiert und damit nachgewiesen werden kann.
In welchen Bereichen ist ein Fehlverhalten von KI-Systemen besonders kritisch?
Grundsätzlich wird ein Fehler eines KI-Systems immer dann besonders kritisch, wenn daraus eine Gefahr für Leib und Leben entsteht. Ein viel diskutierter Anwendungsfall ist natürlich das Autonome Fahren. Wenn eine KI zur Bilderkennung ein Stoppschild nicht richtig wahrnimmt und das Auto – ohne anzuhalten – über die Kreuzung fährt, ist dies offensichtlich gefährlich.
Ein Lösungsbaustein, den wir über die vergangenen Jahre entwickelt haben, ist der sogenannte "Uncertainty Wrapper". Dieser kann etwa zu einer KI-basierten Bilderkennung parallelgeschaltet werden und gibt Auskunft darüber, wie sicher sich die KI mit einer bestimmten Erkennung ist. Der Einsatz des Uncertainty Wrappers ist dabei natürlich nicht auf Verkehrsschilder begrenzt, vergleichbare Problemstellungen gibt es in vielen Anwendungen und Domänen. Ergänzend arbeiten wir an Ansätzen, um autonome KI-gestützte Systeme mit einer Art Risikobewusstsein auszustatten. Dies tun wir nicht nur im Bereich "Mobilität", sondern z.B. auch im Bereich "Industrie 4.0". Dort kommen intelligente Maschinen zum Einsatz, Cobots unterstützen Fabrikarbeiter und fahrerlose Transportsysteme bewegen sich durch die Fertigungshallen.
In ganz anderer Hinsicht sind auch KI-Systeme kritisch, welche der Überwachung oder auch Klassifizierung von Menschen dienen. Auch diese Arten von Risiken sind sehr relevant und Thema der aktuellen Regulierung, wie etwa dem AI Act der EU.
Was sind die Chancen für Unternehmen durch den Einsatz von Dependable AI?
Sie birgt ein großes Potenzial für vielerlei Branchen – das sehen wir allein schon anhand der verschiedenen Anwendungsfälle, die ich gerade genannt habe. Gleichfalls geht es in Unternehmen stets auch um Effizienzsteigerungen, woraus sich wiederum Wettbewerbsvorteile ergeben. KI kann offensichtlich durch Automatisierung in der Arbeitswelt einen wichtigen Beitrag leisten, wobei es auch hier am besten nicht nur KI, sondern eben Verlässliche KI sein sollte. Der Einsatz von KI sollte dabei weniger als Möglichkeit zur Reduzierung von Arbeitsplätzen gesehen werden, sondern eher als Chance, um Lösungen für den Fachkräftemangel zu schaffen.