Risikomanagement für autonome Systeme

Im Projekt Icon "Lopaas" wurde eine Sicherheitsarchitektur für autonome Fahrzeuge entwickelt. Das System soll Handlungsoptionen situationsspezifisch und in Echtzeit einschätzen können.

Das Forschungsprojekt Icon "Lopaas" (Layers of Protection Architecture for Autonomous Systems wurde vom Fraunhofer-Institut für Experimentelles Software Engineering IESE, dem Fraunhofer-Institut für Kognitive Systeme IKS und der Universität York mit dem Assuring Autonomy International Programm (AAIP) durchgeführt. In die entwickelte Referenzsicherheitsarchitektur für das autonome Fahren wurde auch das Fachwissen des Fraunhofer IESE im Bereich dynamisches Risikomanagement eingebracht. Autonome Systeme sollen so in der Lage sein, Risiken von Handlungsoptionen situationsspezifisch und in Echtzeit einzuschätzen. Durch den zusätzlichen Einsatz des entwickelten "Uncertainty Wrappers" können autonome Systeme auch auf unerwartete Ereignisse reagieren.

Zudem behandelte das Projekt, das nach dreijähriger Forschung abgeschlossen wurde, die Sicherheitsnachweise für autonome Systeme. Die Ergebnisse des Projekts flossen direkt in internationale Industriestandards und Normen ein, beispielsweise in die Spezifikation ISO/PAS 8800 zur Risikominderung Künstlicher Intelligenz bei sicherheitskritischen Systemen in Straßenfahrzeugen oder in den Report ISO/IEC TR 5469 für die funktionale Sicherheit von KI-Systemen. Die Ergebnisse zur Unsicherheitsquantifizierung von KI-Systemen sind in den Spezifikationsstandard DIN SPEC 92005 geflossen. Dieser wurde im Januar 2024 veröffentlicht und wird als Basis für die Entwicklung einer neuen internationalen Norm herangezogen.