9. Resilienz

In der breiten öffentlichen Wahrnehmung liegt die vermeintlich größte Herausforderung in der zu großen, nicht mehr beherrschbaren Intelligenz der KI. Denn die Möglichkeiten der Künstlichen Intelligenz scheinen schier endlos, und spätestens seit dem fulminanten Auftritt der generativen KI erwachen neben der reinen Begeisterung bei vielen Menschen Sorgen und sogar Ängste, ob wir uns mit der Künstlichen Intelligenz nicht doch die Geister rufen, die wir nicht mehr beherrschen können. Man könnte sich fast wie in einem Science-Fiction-Roman fühlen, im erzählerischen Vorspann, kurz bevor die Maschinen die Herrschaft übernehmen. Bis auf die späteren Helden halten die Protagonisten der Erzählung jegliche Sorgen für unbegründet. Im Roman wird man eines Besseren belehrt, und so möchte man sich natürlich auch in der Geschichte der realen Welt lieber auf der Seite der vorausahnenden Helden wähnen.

Die Wurzel dieser Sorgen liegt in der Befürchtung, dass die Künstliche Intelligenz zu intelligent werden könnte, vielleicht sogar so intelligent, dass sie sich verselbstständigt und sogar ein Bewusstsein entwickelt, das sich irgendwann gegen die Menschen richtet. Auch wenn sich dieses Szenario nicht pauschal ausschließen lässt, ist die Wahrscheinlichkeit dafür doch beruhigend gering, wenn nicht vernachlässigbar. Die KI ist in erster Linie weiterhin ein Werkzeug, allerdings ein sehr mächtiges Werkzeug. Und die Gefahr geht wie so häufig nicht vom Werkzeug an sich aus, sondern von den Menschen, die es nutzen – entweder weil sie es bewusst zum Nachteil anderer verwenden, weil sie es nachlässig einsetzen und nicht richtig kontrollieren oder weil sie schlichtweg nicht wirklich wissen, was sie tun. Wir sollten uns also nicht vor der Intelligenz der KI fürchten, sondern, wenn überhaupt, dann vor den Menschen, die sie nutzen.

Die größte Bedrohung durch Künstliche Intelligenz geht nicht von ihrer Intelligenz aus, sondern paradoxerweise von ihrer Dummheit. Bei der ganzen Fülle von Beispielen, in denen KI beeindruckend gut funktioniert hat, dürfen wir nicht vergessen, dass es auch genügend Fälle gibt, in denen sie erschreckend kläglich scheitert. Und in ihrem Scheitern ist sie trotzdem fest überzeugt, Recht zu haben. Unsere Angst sollte sich also gar nicht in erster Linie auf die Künstliche Intelligenz, sondern auf die Künstliche Dummheit fokussieren.

Stellen wir uns einen ChatBot oder Sprachassistenten vor, der Unsinn redet oder uns komplett falsch versteht. Das entlockt uns meist ein stilles Lächeln, oder wir spüren einen leichten Anflug ungeduldiger Verärgerung. Wenn wir uns vorstellen, dass unser teures neues Auto nach wenigen Kilometern mit einem Motorschaden liegen bleibt, weil die KI-basierte Qualitätssicherung in der Produktion versagt hat, dann ist dies für uns als Kunden schon mehr als ein großes Ärgernis. Für den Hersteller bedeutet dies aber einen finanziellen Schaden in Millionenhöhe. Und wenn wir uns vorstellen, von einem KI-chauffierten Auto überfahren zu werden, weil die KI fest überzeugt ist, niemanden zu sehen, dann ist die Künstliche Dummheit nicht mehr lustig, sondern tödlich. Wie unter anderem der amerikanische Wissenschaftler Philip Koopman an der Carnegie Mellon University nicht müde wird herauszuarbeiten, gibt es dieses tödliche Versagen der KI wesentlich häufiger als vielen bewusst ist (Koopman, 2024).

Obwohl spektakuläre Unfälle mit selbstfahrenden Autos durchaus die Öffentlichkeit aufhorchen lassen, bleibt die allgemeine Fehleranfälligkeit der KI oft im verborgenen Schatten des blendenden Rampenlichts der Technikbegeisterung. Bevor wir jedoch gedanklich direkt den warnenden Zeigefinger erheben oder gar schon Verbotsforderungen formulieren, sollten wir uns klarmachen, dass es hier nicht darum geht, die Technik zu verteufeln, sondern die Risiken zu verstehen. Denn in diesem Verständnis liegt eine riesige Chance verborgen – die Fähigkeit, eine verlässliche, eine sichere KI zu schaffen. Wenn wir nämlich bedenken, dass beispielsweise das erste allgemein für den Straßenverkehr zugelassene Fahrzeug mit der weltweit höchsten Autonomie aus Deutschland und nicht aus dem Silicon Valley stammt (Gilgen, 2024), dann wird klar, dass hier die Finesse der Safety-Ingenieurinnen und -Ingenieure, die Kunst des Engineerings den Ausschlag im Wettbewerb gaben. Nur wer Sicherheit und Intelligenz in Einklang bringen kann, wird sich an die Spitze des Wettbewerbs setzen können.

Dies bringt uns zurück zur brennenden Frage: Warum ist es eine so gewaltige Herausforderung, die Qualität von Künstlicher Intelligenz zu kontrollieren? Schließlich ist Software bereits ein ganz selbstverständlicher Bestandteil auch von hochsicherheitskritischen Systemen. Um die Frage zunächst zu präzisieren: Künstliche Intelligenz ist ein Oberbegriff für verschiedenste Ansätze – viele davon lassen sich aus einer Qualitätsperspektive durchaus beherrschen. Doch zurzeit sorgen vor allem maschinelles Lernen und insbesondere die tiefen neuronalen Netze, die beispielsweise in der Bilderkennung oder bei Sprachmodellen zum Einsatz kommen, für Furore.

Anders als bei herkömmlicher Software werden beim maschinellen Lernen nicht mehr explizite Befehlsketten definiert, sondern Modelle anhand von Daten trainiert. Bei den populären neuronalen Netzen imitieren diese Modelle das menschliche Gehirn, indem viele Neuronen miteinander verbunden werden. Stark vereinfacht gesagt, werden während des Trainings die Verbindungen zwischen den Neuronen in Form von Gewichtungen gestärkt oder geschwächt. Das Verhalten ergibt sich dadurch sehr implizit aus der Gewichtung der Neuronenverbindungen, und es ist in den meisten Fällen unmöglich, genau nachzuvollziehen, warum ein künstliches neuronales Netz so reagiert, wie es reagiert. Daher haben wir keine Ahnung, wann und warum es beeindruckende Leistungen zeigt oder wann und warum es total versagt.

Die ganze Welt der Softwarequalitätssicherung, wie wir sie kennen, basiert auf der Idee, dass wir ein deterministisches Verhalten auf Basis expliziter Befehlsketten definieren, die wir vollständig nachvollziehen und somit auch nachprüfen können. Wollen wir nun diese Ansätze zur Qualitätssicherung auf neuronale Netze anwenden, ist das in etwa so, als würden wir eine meisterhafte Uhrmacherin, ausgerüstet mit den weltbesten Werkzeugen für mechanische Uhren, vor die Herausforderung stellen, eine Smartwatch zu reparieren. In beiden Situationen prallen völlig verschiedene Paradigmen und gänzlich unterschiedliche, unvereinbare Technologien aufeinander.

Man könnte annehmen, dass sogenannte Blackbox-Teststrategien, die sich nur auf das Verhalten eines Softwaremoduls konzentrieren, ohne sein internes Funktionieren zu kennen, eine Lösung sein könnten, da es ja gerade egal sein soll, wie das Verhalten realisiert wurde. Das ist prinzipiell auch so, allerdings gibt es hierbei einen erheblichen Fallstrick: Die Realität ist unendlich. Und jeder Testfall repräsentiert nur eine von unendlich vielen Möglichkeiten. In der Praxis wird dieser konkrete Testfall nie wieder auftreten, jedes Bild für eine Personenerkennung zum Beispiel wird neu sein. Bei heutiger Software können wir davon ausgehen, dass, wenn sorgfältig ausgewählte Testfälle erfolgreich sind, die Software auch in jeder Situation, die sich zwischen diesen Testfällen befindet, funktionieren wird. Nur durch diese Annahme können wir überhaupt eine Testabdeckung erreichen. Bei tiefen neuronalen Netzen ist das jedoch völlig anders. Sie neigen in den meisten Fällen zu einer extrem geringen Robustheit, d. h. selbst minimale Änderungen am Eingang können zu völlig unterschiedlichen Ergebnissen führen. Nur wenige Pixel Unterschied können aus einem Stoppschild ein Schild „Vorgeschriebene Fahrtrichtung geradeaus“ machen, wie dies unter anderem Akhtar und Mian eindrucksvoll am Beispiel bewusster Angriffe verdeutlichen (2018). Daher wissen wir selbst bei erfolgreichen Tests zunächst nur, dass das Netz genau in diesem Fall funktioniert hat. Bei jeder kleinsten Änderung des Eingangs, also für jeden Fall im realen Einsatz, können wir quasi keine Aussage mehr treffen. Es hat Jahre an Forschung gebraucht, um sowohl die neuronalen Netze robuster zu machen als auch die Testverfahren anzupassen. Und trotz guter Fortschritte hinken wir immer noch weit hinter der Qualitätssicherung klassischer Software hinterher.

Ein weiteres oft gehörtes Argument ist, dass wir einfach genug Daten brauchen, um die KI richtig zu trainieren. In der Realität haben wir aber oft nicht einmal genug Daten für ein „normales“ Training, etwa wenn es um die Erkennung von Tumoren in der Medizin geht. Und um die Qualität zu erreichen, die nötig ist, wenn es um Menschenleben geht, bräuchten wir mehr Daten, als es Atome im bekannten Universum gibt, wie beispielsweise Wissenschaftler rund um den KI-Forscher Philip Grohs an der TU Wien gezeigt haben (Berner et al., 2022).

Dies führt uns zur nächsten spannenden Frage: Wie gut muss unsere KI sein, bevor wir sie als sicher betrachten können? Fangen wir damit an, dass eine KI nicht sicher sein muss. Wichtig ist einzig und allein, dass das Gesamtsystem, in dem sie eingesetzt wird – wie zum Beispiel ein Auto, ein medizinisches Gerät oder ein Roboter – sicher ist. Aber um das zu erreichen, muss die KI eine bestimmte Qualität aufweisen. Wie man diese „bestimmte“ Qualität jedoch genau spezifiziert und misst, ist noch eine offene Forschungsfrage. Bei herkömmlicher Software können wir auch keine quantitativen Maße wie Ausfallwahrscheinlichkeiten berechnen. Aber über die Jahrzehnte haben wir gelernt und konnten empirische Evidenzen sammeln, dass die Anwendung spezieller Entwicklungs- und Qualitätssicherungsverfahren zu einer akzeptabel niedrigen Ausfallwahrscheinlichkeit im Einsatz führt. Bei der KI fehlt uns dieses Wissen, und wir haben auch keine Zeit, auf vergleichbare Weise auf Evidenz zu warten. Deshalb versuchen Industrie und Forschung in großen Forschungsprojekten, diesen Prozess zu beschleunigen. Ein Durchbruch steht jedoch noch aus.

Man könnte sagen, dass wir uns in Sachen Safety im Kontext der KI noch einmal neu orientieren müssen. Denken wir an das Konzept der „Safety“: Es bedeutet im Grunde, dass das verbleibende Risiko eines Systems kleiner sein muss als ein akzeptiertes Risiko. Nehmen wir das Beispiel Autofahren. Wir akzeptieren alle das Risiko, dass wir vielleicht nicht sicher an unserem Ziel ankommen. Dieses Risiko, eine Mischung aus der Wahrscheinlichkeit eines Ereignisses und den zu erwartenden Schäden, sind wir bereit einzugehen. Aber welches Risiko wären wir bereit, bei einem selbstfahrenden Auto einzugehen?

Politisch gesehen wird eine positive Risikobilanz angestrebt – es wäre demnach akzeptabel, wenn durch den Einsatz von selbstfahrenden Autos insgesamt weniger Menschen im Straßenverkehr ums Leben kommen. Das ist eine gesellschaftliche Perspektive. Doch wenn das eigene Kind von einem autonomen Fahrzeug getötet wird, ist es den trauernden Eltern wenig Trost, dass dadurch zwei andere Menschen gerettet wurden, die sonst von einem menschlichen Fahrer überfahren worden wären. Hier ist also noch viel Diskussion nötig, und für viele Anwendungsbereiche gibt es noch gar keine befriedigende Antwort.

Denken wir weiter, wird schnell klar, dass KI in den meisten sicherheitskritischen Anwendungen menschliche Aufgaben übernimmt, sei es nun das Autofahren, Zugfahren, Maschinenbedienen, die Ausführung von Produktionsaufgaben oder medizinische Diagnosen. Daher ist es unlogisch, die Qualität einer KI mit den Standards zu messen, die wir verwenden, um das Versagen eines Bauteils zu bewerten, das vor allem aufgrund von Konstruktionsfehlern, Produktionsfehlern oder Verschleiß ausfallen könnte. Vielmehr sollten wir die KI in solchen Anwendungen danach bewerten, ob sie die Aufgaben besser bewältigen kann als wir Menschen. Dies erfordert einen überdachten Ansatz zur Bewertung, bei dem noch viele Fragen offen sind. Diese reichen von einfachen Fragen wie „Welcher Mensch – der Durchschnittsmensch oder der beste der Welt?“ bis hin zu komplexeren Fragen wie „Ist es ausreichend, genauso gut zu sein wie ein Mensch, oder wie viel besser muss die KI sein?“ und schließlich zur brennenden Frage „Wie genau kann ich die Leistung von Mensch und KI vergleichbar messen und die Überlegenheit der KI vorhersagen, bevor sie überhaupt eingesetzt werden darf?“

Dies wiegt umso schwerer, als viele Safety-Expertinnen und -Experten wie auch Zertifizierer schon lange verlernt haben, um was es im Safety Engineering eigentlich geht: sicherzustellen, dass das unvermeidbare Restrisiko akzeptabel ist. Im Laufe der Jahrzehnte haben sich Normen etabliert, und die Disziplin des Safety Engineerings ist zum Compliance Engineering degeneriert. Pointiert formuliert werden nur noch die Anforderungen in Normen überprüft – Anforderungen, die KI-basierte Systeme gar nicht erfüllen können. Anstatt sich darauf zu konzentrieren, wie man Sicherheit jenseits von unpassenden Normen nachweisen kann, bleiben manche nostalgisch in der Vergangenheit gefangen und versuchen stur, die Smartwatch wie eine mechanische Uhr nach den Regeln der Mechanik zur behandeln. Neben den technischen Herausforderungen gibt es also auch unzählige menschliche Herausforderungen – von der allgemeinen Akzeptanz in der Bevölkerung bis zum unverzichtbaren Wandel in teils vergangenheitsgewandten Ingenieurskulturen.

Die Herausforderungen, die KI mit sich bringt, sind in der Tat zahlreich und komplex. Leider wurde der Fokus viel zu lange auf immer neue schillernde Errungenschaften der KI gelegt, während die Sicherheitsaspekte, die Safety, eher im Hintergrund blieben. Sicherheitsingenieurinnen und -ingenieure leisten hervorragende Arbeit, aber diese bleibt oft unbemerkt – denn es ist ihre beste Leistung, wenn nichts Schlimmes passiert. Applaus oder Anerkennung im Rampenlicht der Öffentlichkeit ist selten, ebenso wie die Begeisterung von Investoren. Doch ohne Sicherheit bleiben die ehrgeizigen Visionen von KI nur Träumereien. Daher wurde nun eine Aufholjagd gestartet, um die beeindruckenden Fähigkeiten der KI um die im Wortsinne lebenswichtige Sicherheit zu ergänzen.

Die Vorstellung, es gäbe ein universelles Kochrezept, das uns eine anwendungsunabhängige, allgemeingültige Liste von Prüfverfahren zur Verfügung stellt, um die Sicherheit einer KI-Komponente nachzuweisen, ist also zumindest nach heutigem Stand der Dinge unrealistisch und sogar irreführend. Obwohl wir uns alle eine Universallösung wünschen, die immer funktioniert, ist eine Nachweisführung in der Realität heute bei weitem noch nicht so geradlinig. Sicher, bei Hardware hat dieser Wunschgedanke wunderbar geklappt, und bei Software konnte man ihn noch akzeptabel umsetzen. Deshalb wird Sicherheit selbst von vielen Safety-Managern in der Praxis gerne mit dem Abhaken von Prüflisten verwechselt. Beim maschinellen Lernen jedoch müssen wir uns eingestehen: Es gibt keine Einheitslösung, keine generischen Prüflisten und kein pauschales Kochrezept. Hier sind individuelles Verständnis und spezifische Lösungen gefragt. Um unsere Reise zu resilienten kognitiven Systemen zu beginnen, müssen wir daher zunächst ein paar Schritte zurückgehen und uns besinnen, worum es bei Safety als wesentliche Qualitätseigenschaft überhaupt geht. Es geht nicht um Checklisten, nicht um die Compliance mit Normen. Es geht darum sicherzustellen, dass von einem System kein inakzeptables Risiko ausgeht. Wenn wir uns auf diese eigentliche Aufgabe zurückbesinnen, können wir KI schon heute in sicherheitskritischen Anwendungen nutzen. Und das Beste daran? Mit jedem System, das wir entwickeln, sammeln wir wertvolle Erfahrungen, die wir verallgemeinern können. So kommen wir Schritt für Schritt einem universelleren Konzept näher.

Es ist auch an der Zeit, uns von der Illusion einer „sicheren KI“ zu verabschieden. In letzter Zeit ist es fast zur Mode geworden, mit Begriffen wie Safe AI oder Certified AI zu werben, stets verbunden mit dem Versprechen, eine sichere KI entwickeln zu können. Tatsächlich sind nach aktuellem Stand der Wissenschaft die Begriffe Safety und KI, zumindest wenn wir über Deep Learning sprechen, ein Widerspruch in sich. Eine sichere KI gibt es nicht und wird es auch nicht geben, zumindest nicht auf Basis der heutigen tiefen neuronalen Netze. Was zunächst wie ein jähes Ende unserer Reise zu resilienten kognitiven Systemen klingt, ist eigentlich eine Erleichterung – eine Befreiung von der unmöglichen Mission, eine sichere KI zu erschaffen. Es ist die Chance, unseren Fokus von der KI wegzulenken und auf die eigentliche Aufgabe zu richten. Durch die allgegenwärtige Präsenz der KI im Rampenlicht unserer Aufmerksamkeit geht allzu oft die eigentliche Lösung im Schatten dieser blendenden Technologie verloren. Die Lösung liegt nicht in der Künstlichen Intelligenz, sondern in der guten alten Ingenieurskunst. Eine KI ist meist nur eine von tausenden Softwarekomponenten in einem hochkomplexen Softwaresystem, wie beispielsweise einem Auto oder Flugzeug. Ob ihre Qualität hoch genug ist, um keine Gefahren zu verursachen, hängt vom gesamten System ab. Gibt es andere Komponenten, die KI-Fehler erkennen und beherrschen können? Gibt es redundante Pfade, die gleichzeitig versagen müssten? Sicherheit können wir nur auf der Systemebene betrachten. Wir müssen Risiken identifizieren und passende Sicherheitsanforderungen für die Umsetzung von Gegenmaßnahmen festlegen. Diese Anforderungen werden dann, wie im klassischen Safety Engineering, Schritt für Schritt verfeinert, bis wir ganz konkrete Anforderungen an die KI stellen können, die mit einer bestimmten Performanz erfüllt werden müssen. Je genauer die Anforderungen, desto konkreter und somit leichter können wir nachweisen, dass sie mit der benötigten Rigorosität erfüllt werden.

Beginnen wir dazu mit einer simplen Tatsache: KI ist nur eine Technologie und bietet an sich noch keinen echten Nutzen. Unsere Produkte müssen in ihrem jeweiligen Markt einen klaren Mehrwert bieten. KI kann hierbei eine Rolle spielen, muss sie aber nicht. Viele Entscheidungsträger fühlen sich von der Flut an Nachrichten über immer größere, immer mächtigere KI-Modelle überwältigt. Ein Superlativ jagt den nächsten, und jede Nachricht nährt die Furcht, technologisch ins Hintertreffen zu geraten. Doch anstatt uns in diesem Rennen der Technikgiganten zu verlieren, sollten wir uns auf unser Kerngeschäft konzentrieren. Viele deutsche Unternehmen werden auch in Zukunft kein einziges KI-Produkt entwickeln, aber sie werden kaum noch ein softwarebasiertes Produkt ohne KI haben. Die meisten unserer Unternehmen produzieren keine KI-Produkte, aber sie sind oft Weltmarktführer für Maschinen, Anlagen, Roboter, Flugzeuge, Züge, Autos, Medizingeräte und viele andere Produkte. Daher müssen wir uns vor dem blinden Einsatz von KI die Frage stellen: Welchen Mehrwert wollen wir im Wettbewerb schaffen? Kann uns KI dabei einen Wettbewerbsvorteil verschaffen? Muss es wirklich ein großes, kaum kontrollierbares tiefes neuronales Netz sein, oder könnten nicht doch kleinere Modelle oder robustere KI-Ansätze den gleichen Mehrwert liefern? Natürlich ist es beispielsweise verlockend, eine vorhandene Personenerkennung aus dem Internet zu nutzen, um Lichtschranken in der Produktion durch vorhandene Überwachungskameras zu ersetzen. Aber diese KI-Modelle sind nicht für sicherheitskritische Anwendungen konzipiert und lassen sich nachträglich kaum absichern. Wenn wir vom angestrebten Nutzen ausgehen und dafür eine spezifische Lösung finden, erhalten wir kleinere, besser handhabbare Modelle, die wir dann auch in einer solchen sicherheitsrelevanten Anwendung einsetzen können.

Die sicherste Methode, Künstliche Intelligenz in sicherheitskritischen Systemen zu nutzen, ist also paradoxerweise, sie gar nicht zu nutzen. Manchmal liegt die beste Lösung direkt vor unserer Nase. Anstatt blind einem Trend zu folgen, sollten wir KI nur dann in Erwägung ziehen, wenn es absolut keine andere Möglichkeit gibt, unseren angestrebten Nutzen zu erreichen. Und selbst dann gibt es oft Alternativen, die auf Deep Learning verzichten können. Andere maschinelle Lernmethoden, wie zum Beispiel k-nearest Neighbour oder Support Vector Machines, mögen auf den ersten Blick etwas rückwärtsgewandt wirken, aber sie erfüllen in vielen Fällen ihren Zweck und lassen sich zudem viel einfacher in sicherheitskritische Systeme integrieren. Selbst wenn wir gelegentlich wirklich ein tiefes neuronales Netz benötigen, muss es nicht unbedingt die neueste Internet-Sensation sein. Meistens ist es viel sinnvoller und effizienter, ein kleines, speziell auf die Aufgabe zugeschnittenes Netz zu trainieren. Dieses lässt sich deutlich einfacher anpassen und auf seine Tauglichkeit für den Einsatz in einem sicheren Produkt überprüfen.

Doch egal, welche KI letztlich zum Einsatz kommt: Es wäre unverantwortlich, ein Menschenleben alleine in die Hände einer KI zu legen. Es fehlen uns schlicht und einfach die nötigen Erfahrungswerte, um zuverlässig einschätzen zu können, wann wir die Fehlerwahrscheinlichkeit einer KI als ausreichend gering einstufen können. Bei herkömmlich programmierten Softwaresystemen können wir diese Wahrscheinlichkeit zwar ebenfalls nicht bestimmen, doch haben wir über Jahrzehnte hinweg belastbare Evidenzen gesammelt, dass die Anwendung bestimmter Sicherheitsmaßnahmen zu akzeptablen Ergebnissen führt. Bei KI müssen wir diese Erfahrung und das Vertrauen in die Wirksamkeit von Maßnahmen erst noch gewinnen. Bis dahin ist eine gesunde Portion Skepsis die richtige Einstellung. Schließlich sollten wir Menschenleben weder dem Zufall noch einem flüchtigen Gefühl oder gar dem Glück überlassen.

Beim Entwickeln einer Lösung sollte unser Hauptziel immer sein, möglichst wenige – oder keine – sicherheitsrelevanten Anforderungen an eine KI-Komponente zu stellen. Stattdessen sollten wir die Ergebnisse der KI stets mit traditioneller Software überprüfen – quasi als eine Art Aufpasser, der sicherstellt, dass die KI uns auch bei Fehlern nicht ins Verderben stürzt. Das mag zunächst paradox erscheinen: Wenn der Aufpasser die Aufgabe ohne KI lösen kann, warum sollten wir sie dann überhaupt mit KI entwickeln? Aber dieses vermeintliche Paradoxon lässt sich sehr leicht auflösen. Denken Sie an Nullstellenberechnungen in der Schulmathematik oder das Lösen von Differentialgleichungssystemen an der Uni. Es war eine schwierige und aufwendige Aufgabe, eine Lösung zu finden, aber die Kontrolle, ob wir das richtige Ergebnis hatten, war recht einfach. Genauso ist es mit der KI: Wir brauchen sie, um eine Lösung zu finden; die Überprüfung, ob die Lösung plausibel ist, ist dann allerdings wesentlich einfacher und kann von herkömmlicher Software übernommen werden. Und obwohl es in der Literatur zahlreiche Ausdrücke wie „Simplex-Architekturen“ (Sha et al., 1994), „Safety-Cage“ (Heckemann et al., 2011) oder „Doer-Checker-Architektur“ (Koopman et al., 2019) gibt, hat sich das Konzept unter dem Namen „Akzeptanztest“ schon seit langer Zeit als entscheidender Bestandteil fehlertoleranter Softwaresysteme etabliert (Dubrova, 2013).

Nehmen wir zum Beispiel die Aufgabe, Objekte mit einer Kamera zu erkennen. Ohne tiefe neuronale Netzwerke ist das kaum zu bewältigen. Die KI scannt das Bild und markiert, wo im Bild Personen, Roboter, Gabelstapler und so weiter zu sehen sind. Aber hier wird es spannend: Die Überprüfung, ob an der markierten Stelle wirklich eine Person zu sehen ist, ist deutlich einfacher und kann von traditionellen Algorithmen erledigt werden. Genauso einfach ist es zu prüfen, ob sich eine Person mit einer realistischen Geschwindigkeit bewegt bzw. sich im Allgemeinen an die Gesetze der Physik hält. Keine dieser Prüfungen ist perfekt und deckt alle Fehlermöglichkeiten ab. Man kann sich jedoch jede einzelne Prüfung wie eine Scheibe Schweizer Käse vorstellen. Jede Scheibe hat Löcher, durch die Fehler hindurchschlüpfen können. Aber wenn man genügend verschiedene Scheiben übereinanderlegt, die verschiedene Aspekte überprüfen, idealerweise sogar mit verschiedenen Sensoren, dann haben Fehler praktisch keine Chance mehr. Man nennt diesen Ansatz daher häufig auch „Schweizer-Käse-Modell“.

Offensichtlich müssen wir für jede dieser Prüfungen genau die Anwendung verstehen. Das Erkennen einer Person muss anders geprüft werden als das Erkennen eines Roboters. Und das Erkennen des Fahrwegs eines autonomen mobilen Roboters erfordert wieder ganz andere Überprüfungen. Deshalb ist gutes Engineering so wichtig, um für jede Anwendung die passende Überwachung zu finden.

Gehen wir dazu wieder von klassischen Überwachungsfunktionen aus, dann müssen diese einfach gestaltet sein, um ihre Sicherheit nachweisen zu können. Dieser Vereinfachungsprozess kann allerdings zu Ungenauigkeiten führen, da wir die Komplexität der realen Physik nur annähern können. Um zu gewährleisten, dass diese Vereinfachung nicht zu unsicheren Systemen führt, ist es wichtig, immer auf der sicheren Seite zu bleiben. Hier entstehen Sicherheitspuffer über Sicherheitspuffer. Stellen Sie sich vor, Sie müssen über ein Hindernis springen, aber Sie wissen nicht genau, wie hoch es ist und wo genau es sich befindet. Um sicherzugehen, springen Sie mit maximaler Kraft, um es auf jeden Fall zu überwinden. Bisher war dieser Ansatz einfacher, da es viel zu aufwendig gewesen wäre, das Hindernis genau zu untersuchen, und man sich stattdessen mit dem zusätzlichen Sicherheitspuffer zufriedengab. Mit der neuen Generation von Systemen, die wir zur Lösung der aktuellen Herausforderungen benötigen, können wir uns diesen Luxuspuffer nicht mehr leisten – und in vielen Fällen ist er technisch auch gar nicht umsetzbar. Die Lösung besteht also darin, das Problem besser zu verstehen und das Hindernis möglichst genau zu sehen, um dann nicht mehr mit maximaler, sondern nur mit der notwendigen Kraft zu springen. Gleichzeitig soll dies trotz der rasant steigenden Komplexität der Systeme weniger kosten als bisher. Daher muss die Effizienz des Safety Engineerings verbessert werden.

In der Tat bietet uns die Künstliche Intelligenz auch hier eine überraschende Lösung. Sie kann als Engineering-Companion fungieren und somit das Safety Engineering erheblich effizienter gestalten. Die mächtige generative KI öffnet hier völlig neue Türen. Heutzutage ist es beinahe Standard, einen Copiloten bei der Programmierung einzusetzen. Dennoch sind wir auf dem Weg zur Nutzung generativer KI im Safety Engineering noch lange nicht am Ziel, da die Vertrauenswürdigkeit der KI-Antworten weiterhin verbessert werden muss. Im Unterschied zu technischen Systemen, wie autonomen Fahrzeugen, liefert die KI in diesem Kontext zunächst Vorschläge, die ein Mensch dann prüft, anpasst und umsetzt. Daher bleibt der Mensch in der Kette als Überwacher bestehen. Dieser Rolle kann er aber nur gerecht werden, wenn er tatsächlich in der Lage ist, die Vorschläge zu prüfen und nicht zu leichtsinnig wird, um sich Arbeit zu sparen. Dies funktioniert also nur, wenn der KI-Companion zuverlässige Antworten liefert – ohne allzu ausschweifend zu antworten oder gar zu halluzinieren, wie man es von gewöhnlichen generativen KI-Assistenten kennt. Wie wir dies in unseren eigenen Arbeiten gezeigt haben (Geissler et al., 2024), liegt eine Lösung in der Kombination klassischer Safety-Engineering-Ansätze und KI-basierter Assistenz, also in sogenannten hybriden Ansätzen. So formuliert die KI ihre Antworten nicht immer frei, sondern greift beispielsweise auf etablierte Sicherheitsanalysewerkzeuge zu, die in das effizientere Format eines Sprachdialogs umgewandelt werden. Obwohl dies momentan noch Forschung ist, wird sich das Engineering in der Zukunft drastisch verändern. Probleme werden in kürzerer Zeit und mit weniger Aufwand besser verstanden, und es werden passendere, günstigere und weniger restriktive Lösungen gefunden. Auf diese Weise bleiben viele unserer wichtigsten Zukunftsvisionen keine bloßen Träume.

Doch selbst das ausgefeilteste Safety Engineering wird zwecklos, wenn es lediglich zu einer altmodischen, regelbasierten Überwachung führt. Genau wie die Künstliche Intelligenz einen revolutionären Paradigmenwechsel in der Funktionsentwicklung einleitet, müssen wir diesen Wandel ebenso im Bereich der Sicherheit vollziehen. Dabei kann es hilfreich sein, uns erneut die Natur als Vorbild zu nehmen. Der Nobelpreisträger Daniel Kahneman hat gezeigt, dass unser Gehirn einen effektiven Überwachungsmechanismus besitzt (2011). Lassen Sie uns dazu ein einfaches Experiment von Kahneman wiederholen. Lesen Sie die folgenden Wörter und sagen Sie „groß“, wenn das Wort in Großbuchstaben, und „klein“, wenn das Wort in Kleinbuchstaben geschrieben ist. Sind Sie bereit?

Wie die meisten Menschen haben Sie wahrscheinlich gerade zwei Stimmen in sich gehört. Die erste Stimme wollte bei dem Wort „groß“ sofort ein überzeugtes „groß“ aussprechen. Doch bevor Sie es aussprechen konnten, kam eine korrigierende zweite Stimme, die Sie an die eigentliche Aufgabe erinnerte und klarstellte, dass es sich um Kleinbuchstaben handelt, und folglich „klein“ sagte. Nach kurzem Widerstand der ersten Stimme setzte sich die zweite Stimme durch, und Sie sagten schließlich „klein“. Dieser Prozess dauerte weniger als eine Sekunde, und doch haben Sie so die zwei Elemente Ihres Verstandes kennengelernt, die Kahneman als „System 1“ und „System 2“ bezeichnet. System 1 ist sehr schnell, autonom, parallel, aber auch unzuverlässig und übermütig – das war die erste Stimme. System 2 ist langsamer, sequentiell und bewusster – das war die zweite Stimme. Unser System 2 überwacht unser System 1. Es ist ebenfalls intelligent, aber auf eine andere Art und Weise. Und genau das nutzt man nun auch in der Forschung, wie unter anderem der Wissenschaftler Krzysztof Czarnecki der University of Waterloo, der zu den führenden Köpfen des Feldes zählt (2022). Wenn die eigentliche Funktion mit Deep Learning implementiert wird, das sehr beeindruckend, aber auch unzuverlässig und übermütig arbeitet, entspricht dies unserem System 1. Dem Vorbild der Natur folgend ist es daher logisch, nun ein System 2 als Überwacher zu entwickeln, das auch intelligent ist, aber eben etwas langsamer und sequentieller sein darf, weil es dafür hochzuverlässig und auch in unbekannten Situationen funktioniert.

Um dieses Konzept anschaulicher zu machen, wenden wir uns einem Beispiel aus der Robotik zu. Ein zentraler Aspekt in diesem Bereich ist die Fähigkeit, Personen zu erkennen. Aus der Sicherheitsperspektive ist es ein kritisches Problem, wenn eine Person übersehen wird. Die Erkennung von Personen in einer Bildsequenz erfordert den Einsatz tiefer neuronaler Netze. Wenn ein solches Netz als künstliches System 1 allerdings keine Person erkennt, gibt es keine simplen Mechanismen zur Überprüfung. Die Kontrolle, ob in den Bildern wirklich keine Person zu erkennen ist, ist genauso komplex wie die ursprüngliche Aufgabe, weswegen eine herkömmliche Überwachung nicht möglich ist. Hier kommt die Idee des Systems 2 ins Spiel. Anstatt die Pixel ohne semantischen Kontext rein statistisch zu analysieren, imitieren wir die menschliche Wahrnehmung, indem wir nach einzelnen Körperteilen wie Kopf, Oberkörper, Armen und Beinen suchen. Dazu müssen wir zwar zunächst auch neuronale Netze einsetzen, doch die Überprüfung, ob sich an den erkannten Stellen tatsächlich das vermutete Körperteil befindet, ist eine deutlich einfachere Aufgabe und lässt sich sicher mit herkömmlichen Algorithmen durchführen. Wenn man dies nun mit dem expliziten Wissen verbindet, welche Körperteile in welcher Position in Kombination auf eine menschliche Person hindeuten, erhält man eine intelligente, aber dennoch sichere Plausibilisierung des künstlichen Systems 1. Diese ist zwar nicht so schnell und effizient wie das tiefe neuronale Netz, aber als Überwachungsmechanismus in unserem künstlichen System 2 ist sie vollkommen ausreichend. Und wie wir uns erinnern, muss sie auch nicht perfekt sein – sie ist nur eine Scheibe in unserem Schweizer-Käse-Modell.

Betrachten wir ein weiteres Beispiel: die Differenzierung zwischen einer echten Person und einem Plakat, das eine lebensgroße Person zeigt. Unser künstliches System 1, das auf tiefen neuronalen Netzen basiert, hat hierbei seine Schwierigkeiten, da es ohne semantische Kenntnisse funktioniert. Im Gegensatz dazu kann unser künstliches System 2 die Situation relativ einfach klären. Es versteht, dass sich an der betreffenden Stelle eine Wand befindet, an der Plakate hängen können, und hat das Wissen, dass sich die Wahrnehmung einer realen, dreidimensionalen Person bei einem Perspektivwechsel anders verhält als bei einem Plakat. Eine leichte Positionsveränderung des Roboters genügt, um das Plakat von einer echten Person zu unterscheiden. Eine einfache Imitation der menschlichen Vorgehensweise, die Perspektive zu ändern, wenn wir etwas, das wir sehen, nicht sofort einordnen können.

Dieses letzte Beispiel zeigt bereits, dass eine sichere, intelligente Überwachung nur dann verlässlich funktioniert, wenn sie sich an die Umgebungsbedingungen anpasst. Kognitive Systeme müssen also in der Lage sein, sich dynamisch an ihre Umgebung anzupassen, unabhängig davon, ob die Entwickler des Systems diese Situation vorausgeahnt haben oder nicht. Diese letzte Etappe bringt uns nun zum anfangs versprochenen Ziel unserer Reise: der Resilienz.

Der französische Pionier der Forschung zur Softwareverlässlichkeit, Jean-Claude Laprie, hat den Begriff am Anfang des Jahrtausends mit der Idee geprägt, dass ein System dann resilient ist, wenn es seine Verlässlichkeit auch in unwägbaren Situationen bewahren kann, selbst in völlig vorhersagbaren Situationen (2008). Inspiriert wurde er dabei unter anderem von den Arbeiten von Crawford Stanley Holling aus den frühen 1970er-Jahren, in denen dieser das Konzept der Resilienz für Ökosysteme prägte (1973). Seine Ideen lassen sich dabei an einem einfachen Beispiel erklären: Verlegt man eine Ameisenkolonie in ein neues Habitat mit völlig anderen Bedingungen, wie Nahrungsquellen, Temperatur, Regen etc., dann wird diese Kolonie nicht stoisch versuchen, zu ihren bisherigen Verhaltensmustern und Strukturen zurückzukehren. Sondern sie wird sich anpassen, um zu überleben und zu gedeihen. Wenn sich die Umgebung ändert, liegt der Schlüssel nicht in der Stabilität eines Systems, sondern in der Anpassungsfähigkeit, seiner Resilienz.

Die Natur zeigt uns eine Fähigkeit, die wir nun auch für technische Systeme nachbilden möchten. Bisher lag der Fokus der Sicherheitsforschung auf der Stabilität. Letztlich verfolgen wir mit einem technischen System konkrete Ziele, wie beispielsweise die sichere, schnelle und dennoch komfortable Beförderung von Waren oder Personen von A nach B. Um diese Ziele bestmöglich zu erreichen, muss das System an seinen Einsatzkontext angepasst werden. Es werden also Annahmen darüber getroffen, wie das System eingesetzt wird, und darauf basierend wird eine Spezifikation abgeleitet, die unter diesen Annahmen zu einer guten Zielerfüllung führen soll. Es wurde daher mit allen Mitteln versucht, die Spezifikationen des Systems trotz aller Widrigkeiten einzuhalten. Doch was passiert, wenn wir wie bei den heutigen Systemen diesen Einsatzkontext nicht mehr vorhersagen können, weil er zu vielfältig ist oder wir viele Dinge zur Entwicklungszeit nicht vorhersehen können? Genau dann wird ein System, das stur einer Spezifikation folgt, die aber nicht mehr zum aktuellen Kontext passt, in fataler Weise scheitern.

Die Resilienz in technischen Systemen stellt einen grundlegenden Paradigmenwechsel dar. Anstatt auf Stabilität zu setzen, geht es nun um Adaptivität. Anstatt strikt einer festgelegten Spezifikation zu folgen, rücken die eigentlichen Ziele des Systems in den Vordergrund. Im Laufe des Betriebs versucht das System, die Zielerreichung zu messen und seine Struktur und sein Verhalten so anzupassen, dass es die Zielerreichung stets optimiert. Mit dieser Methode führen wir letztendlich eine weitere Form der Intelligenz ein, die für den Erfolg natürlicher Lebewesen verantwortlich ist: die Anpassungsfähigkeit. Dies ermöglicht das Überleben und Gedeihen in jeder noch so unbekannten oder herausfordernden Situation.

Obwohl es auf den ersten Blick beängstigend erscheinen mag, eine zusätzliche Schicht von Intelligenz in sicherheitskritischen Systemen einzuführen, können wir uns doch auf mehr als zwei Jahrzehnte Forschung zu selbstadaptiven Systemen stützen. Danny Weyns, ein belgischer Wissenschaftler, hat diese Forschung sehr gut in einem Lehrbuch zusammengefasst (2020). Und auch wenn es den Anschein hat, als ob wir uns in das Reich der Superintelligenz begeben, in den meisten Fällen reicht es tatsächlich aus, auf bewährte, deterministische Software zurückzugreifen. In unserer eigenen Forschung haben wir zum Beispiel gezeigt (Salvi et al., 2022), dass allein durch Anpassung der Überwachung an den Kontext bereits erheblicher Spielraum geschaffen werden kann. Nehmen wir zum Beispiel die Veränderung der Wetterbedingungen. Der Bremsweg und somit der Sicherheitsabstand auf einer nassen Fahrbahn sind ganz anders zu bemessen als auf einem erstklassigen Fahrbahnbelag bei Trockenheit und strahlendem Sonnenschein.