Generative KI im Datenlebenszyklus des autonomen Fahrens

Der Data Loop ist eine etablierte Methode zur Erhebung der für die Entwicklung von ADAS/AD-Funktionen notwendigen Daten. Die Umsetzung dieses Loops ist jedoch ein komplexes Unterfangen, das mit regulatorischen und technischen Herausforderungen verbunden ist.

Im Rahmen des Programms Digitale Dekade möchte die Europäischen Union den digitalen Wandel stärken - unter anderem mit neuen regulatorischen Anforderungen. Diese von Anfang an in den Entwicklungsprozess zu integrieren, sichert die Erfüllung gesetzlicher Vorgaben und eröffnet neue Chancen. Der Data Act der EU regelt den Umgang mit vernetzten Produkten und Diensten in der EU und legt Rechte und Pflichten für den Datenzugriff fest. Diese Zugriffsrechte machen ein Data Governance Framework für Datenhalter notwendig. Data Loops bilden die technische Grundlage, um diese Anforderungen umzusetzen [3].

Die KI-Verordnung der EU klassifiziert KI-Anwendungen nach Risikokategorien, wobei sicherheitsrelevante KI-Systeme in autonomen Fahrzeugen oft als Hochrisiko gelten. Für diese Verordnung sind umfassendes Risikomanagement, Dokumentation, Transparenz und Cybersicherheit erforderlich. Data Loops sind entscheidend, um die Rückverfolgbarkeit und das Überwachen der KI-Systeme sicherzustellen [4]. Die Cyberresilienz-Verordnung der EU setzt Mindeststandards für die Cybersicherheit, um die Widerstandsfähigkeit von Produkten zu stärken. Hersteller müssen Sicherheit bereits in der Entwicklungsphase berücksichtigen und kontinuierliche Sicherheitsupdates bereitstellen.

Der Big Loop umfasst verschiedene komplexe technische Aspekte. Die Verarbeitung und Analyse großer Datenmengen in der Cloud muss skalierbar sein, um mit der wachsenden Anzahl an Fahrzeugen und Datenquellen Schritt zu halten. Die Faktoren Genauigkeit und Verlässlichkeit der Daten sind entscheidend für die Leistung der Algorithmen. Dies erfordert für die Datenqualität und -integrität eine strukturierte Erhebung der Daten sowie robuste Datenverarbeitungs- und Bereinigungsverfahren. Die entwickelten Modelle müssen rigoros getestet und validiert werden, um sicherzustellen, dass sie unter allen Bedingungen zuverlässig funktionieren. Dies beinhaltet umfangreiche Hardware-in-the-Loop- und Simulationstests.

Der Schutz sensibler Daten und die Gewährleistung der Cybersicherheit sind von größter Bedeutung, insbesondere angesichts der zunehmenden Vernetzung und Datenübertragung zwischen Fahrzeugen und der Cloud. Eine weitere Herausforderung besteht darin, seltene, aber kritische Situationen zu identifizieren und zu analysieren. Diese Ereignisse erfordern spezielle Daten und besondere Aufmerksamkeit bei der Detaillierung, um die Algorithmen entsprechend zu trainieren und zu optimieren. Um diese technischen Herausforderungen zu bewältigen, sind innovative Lösungen erforderlich, die fortschrittliche KI-Technologien, umfassende Datenmanagementstrategien und hochskalierbare Cloudinfrastrukturen beinhalten.

Automatisiertes Labeling nutzt KI-Modelle, um Daten automatisch zu annotieren. Diese Technik kann den Prozess der Datenvorbereitung erheblich beschleunigen und die Genauigkeit der Labels verbessern. Foundation Models wie EVA [5] und SAM [6] sind besonders effektiv, da sie in der Lage sind, komplexe Muster zu erkennen und präzise Labels zu generieren.

Data Augmentation ist eine Methode der automatisierten Datenanreicherung, um Vielfalt und Menge der Trainingsdaten zu erhöhen. Durch die Generierung zusätzlicher Datenvariationen aus vorhandenen Daten wird die Robustheit und Generalisierungsfähigkeit der Modelle verbessert. So werden schon seit Jahren Generative Adversarial Networks (GANs) eingesetzt, um mittels Visual Style Transfer die Umgebungscharakteristik von Bildern auf andere zu übertragen [7]. Neue generative Ansätze wie InfEdit [8] und ControllNet [9] ermöglichen durch Prompting erweiterte Möglichkeiten zur Augmentierung und verbesserten Automatisierung.

In vielen Situationen ist es nicht möglich, alle Daten inklusive Sensordaten zu erheben und zu speichern. Häufig werden Daten wie Positionen und Merkmale relevanter Objekte gespeichert. Zusammen mit vorhandenen hochauflösenden Karten ist es möglich, die fehlenden Sensordaten von Quellen wie beispielsweise Kamera oder Radar zu synthetisieren. Diese synthetischen Daten, Bild 3, können verwendet werden, um Algorithmen zu trainieren und zu testen, insbesondere in seltenen oder gefährlichen Situationen [10]. Generative KI-Modelle sind sehr vielversprechend, um realistische Videosequenzen zu erzeugen. Noch fehlen heutzutage aber Methoden, um weitere Sensordaten mit ausreichender Qualität zu generieren.

Obwohl viele Bildklassifizierer bei der Modellvalidierung im Durchschnitt gut abschneiden, kann ihre Leistungsfähigkeit bei Teildatenmengen, die im Training unterrepräsentiert waren, erheblich nachlassen. Diese systematischen Fehler können zum Beispiel die Fairness gegenüber demografischen Minderheiten oder die Robustheit und Sicherheit bei Domänenveränderungen beeinträchtigen. Eine große Herausforderung besteht darin, solche Untergruppen zu identifizieren, wenn diese nicht annotiert werden und sehr selten sind. Der Ansatz Promptattack [11] nutzt Text-zu-Bild-Modelle. Er dient dazu, Untergruppen von Bilddaten zu suchen, die durch dieselben Prompts erzeugt wurden und bei denen das Zielmodell eine geringe Performance zeigt. Systematische Fehler auf Untergruppen der Operational Design Domain können mit diesem Ansatz mit hoher Genauigkeit identifiziert werden.

Insbesondere Bilddaten aus dem Straßenverkehr enthalten oft personenbezogene Daten, die DSGVO-konform zu verarbeiten sind. Sicherheit und Datenschutz erhöhen den Entwicklungsaufwand und schränken die Verwendung der Daten ein. Deshalb sollten Bilder, die personenbezogene Daten wie Gesichter oder Nummernschilder enthalten, möglichst vor der Verwendung anonymisiert werden. Klassische Methoden wie Weichzeichnen oder Zuschneiden können das KI-Training negativ beeinflussen [12]. Hier kann generative KI dabei helfen, diese Elemente durch künstlich generierte Ersatzelemente zu anonymisieren [13].

Seltene und kritische Ereignisse lassen sich in der erzeugten Datenmenge nur schwer identifizieren. Ein klassischer Ansatz, um dieses Problem zu lösen, ist die Nutzung von Metadaten. Hierfür müssen Merkmale für kritische Ereignisse zum Zeitpunkt der Annotation bereits bekannt sein. Zudem ist dieser Ansatz sehr aufwendig - jedes weitere Metadatum erhöht Aufwand und Kosten für die Annotation. Abhilfe kann hier generative KI mit Modellen wie CLIP [14] schaffen, indem sie eine auf Prompts - also auf Beschreibungen in natürlicher Sprache - basierte Suche von Bildern ermöglicht.

Im späteren Entwicklungs- und Validierungsprozess und im Kundenfahrzeug ist es nicht möglich, alle vorhandenen Daten aufzuzeichnen. Die Menge der zu übertragenden und zu speichernden Daten wäre zu hoch, Bild 4. Hier wird eine Vorfilterung im Fahrzeug benötigt, um kritische Szenarien zu identifizieren, die aufgezeichnet werden sollen. Diese kann auch durch eine Prompt-basierte Suche erfolgen. Der Vorteil gegenüber Alternativen wie speziell trainierten Klassifikatoren ist, dass nur das Prompt ausgetauscht werden muss, wenn andere Szenarien aufgezeichnet werden sollen. Damit dies funktioniert, muss das Grundmodell so optimiert werden, dass es in Echtzeit auf einem im Fahrzeug integrierten eingebetteten System läuft.

Die Umsetzung und Einführung des Big Loop zur Entwicklung von ADAS/AD-Systemen ist eine komplexe Herausforderung, die eine enge Zusammenarbeit verschiedener Fachdisziplinen sowie der Einhaltung strenger regulatorischer Anforderungen bedarf. Fortschrittliche KI-Technologien wie Foundation Models, generative KI und multimodale Modelle bieten innovative Lösungen, um Prozesse wie Labeling oder Generierung von Testszenarien zu optimieren. Diese Technologien können entscheidend sein, um einen Wettbewerbsvorteil zu erlangen und die Entwicklung sicherer und leistungsfähiger ADAS/AD-Systeme bedeutend voranzutreiben.