Der steigende Bedarf an Maschinenumgebungserfassungs-Systemen im Off-Highway-Bereich bringt Herausforderungen bei der Entwicklung zuverlässiger KI-Anwendungen mit sich. Blackbox-Charakteristik und Abweichungen von der beabsichtigten Funktionalität in unbekannten Szenarien sind besonders kritisch. ITK Engineering stellt eine spezialisierte ML-Ops-Pipeline vor, die Lösungsansätze durch Automatisierung und Transparenz bietet.
Die Entwicklung von Maschinenumgebungserfassungs-Systemen basierend auf Künstlicher Intelligenz (KI) für Off-Highway-Maschinen stellt die Branche vor komplexe Herausforderungen. Um in unstrukturierten und dynamischen Umgebungen sicher und effizient agieren zu können, müssen diese Systeme in der Lage sein, ihre Umgebung präzise wahrzunehmen, komplexe Entscheidungen zu treffen und flexibel auf unvorhergesehene Ereignisse zu reagieren. Konventionelle, regelbasierte Systeme stoßen hier schnell an ihre Grenzen, da sie nur für eine begrenzte Anzahl von Szenarien programmiert werden können. KI, insbesondere Machine Learning (ML), bietet hier einen entscheidenden Vorteil: Sie kann aus großen Datenmengen lernen und komplexe Zusammenhänge erkennen, ohne für diese explizit programmiert werden zu müssen.
Anzeige
Die Entwicklung KI-gestützter Systeme birgt jedoch erhebliche technische und methodische Herausforderungen. Zentral sind dabei der inhärente Blackbox-Charakter von KI, die Herausforderungen bezüglich Datenqualität und -quantität und die Frage nach der Verifikation und Validierung dieser Modelle. Ein vielversprechender Lösungsansatz zur Bewältigung dieser Herausforderungen ist die Implementierung einer spezialisierten Machine-Learning-Entwicklungspipeline (ML-Ops-Pipeline). Diese bietet einen strukturierten und automatisierten Workflow für die verschiedenen Phasen der ML-Entwicklung: Datenaufbereitung, Datenannotation und KI-Optimierungs-Loop. Dieser Artikel erläutert die oben skizzierten Herausforderungen bei der Verwendung von KI, beschreibt ein Projektbeispiel, in dem eine ML-Ops-Pipeline eingesetzt wurde, und geht mit diesem praktischen Bezug auf die Chancen und den Aufbau einer Pipeline ein.
Herausforderungen für KI im Off-Highway-Bereich
Bevor auf die drei oben genannten Herausforderungen im Detail eingegangen wird, vorab zwei wichtige Hinweise: Erstens handelt es sich hierbei zwar um zentrale Themen, die für einen robusten Einsatz von KI entscheidend sind, doch sie stellen nur einen Teilaspekt dar. Andere wichtige Themen wie Rechenleistung oder ethische Fragestellungen werden in diesem Kontext nicht behandelt. Zweitens stehen diese drei Herausforderungen in einem engen Wechselverhältnis zueinander.
Die Blackbox-Charakteristik von KI-Modellen, insbesondere im Bereich Deep Learning, stellt eine zentrale Herausforderung dar. Während traditionelle, regelbasierte Systeme transparent und nachvollziehbar sind, da ihr Verhalten durch explizit programmierte Regeln bestimmt wird, lernen KI-Modelle aus Daten und extrahieren komplexe Zusammenhänge oft implizit. Die internen Entscheidungsmechanismen dieser Modelle bleiben dabei weitgehend verborgen. Dies führt zu den folgenden Problemen:
Mangelnde Nachvollziehbarkeit: Es ist schwierig zu verstehen, warum ein KI-Modell eine bestimmte Entscheidung trifft. Das erschwert die Fehleranalyse und die Identifikation von Schwachstellen.
Schwierige Vorhersehbarkeit: Das Verhalten des KI-Modells in unbekannten Situationen ist schwer vorherzusehen. Das kann zu unerwarteten Reaktionen und Sicherheitsrisiken führen.
Eingeschränkte Vertrauenswürdigkeit: Die fehlende Transparenz erschwert es, Vertrauen in die Entscheidungen des KI-Modells aufzubauen. Das ist insbesondere in sicherheitskritischen Anwendungen problematisch.
Die Qualität und Quantität der Trainingsdaten sind entscheidende Faktoren für den Erfolg von KI-basierten Systemen in autonomen Off-Highway-Maschinen. Die Herausforderungen in diesem Bereich sind vielfältig und erfordern eine sorgfältige Strategie. Dabei sind einige Datenqualität und -quantität betreffende Punkte substanziell.
Anzeige
Qualität
Korrektheit und Konsistenz: Fehlerhafte, unvollständige oder inkonsistente Daten können das Training des KI-Modells negativ beeinflussen und zu unerwünschtem Verhalten führen.
Relevanz: Die Trainingsdaten müssen für die spezifische Aufgabe relevant sein. Irrelevante Daten können das Training erschweren und die Performance des Modells beeinträchtigen.
Annotation: Die Annotation der Daten, also die Zuordnung von Bedeutungen zu den Datenpunkten, ist ein entscheidender Schritt im Trainingsprozess. Die Annotation muss präzise und konsistent sein, um eine hohe Qualität des KI-Modells zu gewährleisten. Das erfordert oft manuelle Arbeit und ist daher zeitaufwendig und kostspielig.
Aktualität: Die Datenbasis muss regelmäßig aktualisiert werden, um Veränderungen in der Umgebung und im Betrieb der Maschinen zu berücksichtigen.
Quantität
Repräsentativität: Um die Komplexität und Variabilität von Off-Highway-Szenarien abzubilden, werden immense Datenmengen benötigt. Diese müssen alle relevanten Betriebszustände, Umgebungsbedingungen und potenziellen Ereignisse repräsentieren.
Szenarienabdeckung: Besonders kritische und seltene Ereignisse, wie zum Beispiel das plötzliche Auftreten von Hindernissen oder ungünstige Wetterbedingungen, sind in den Daten oft unterrepräsentiert. Gerade diese Szenarien sind aber für die Sicherheit des Systems entscheidend und müssen ausreichend abgedeckt sein. Die Verifikation und Validierung (V&V) von KI-basierten Systemen für autonome Off-Highway-Maschinen stellt aufgrund der Komplexität der Szenarien und des stochastischen Verhaltens der KI-Modelle eine besondere Herausforderung dar. Zudem mangelt es aktuell an etablierten Standards und Best Practices. Das erschwert zusätzlich die Bewertung der Sicherheit und Zuverlässigkeit dieser Systeme. Traditionelle V&V-Methoden, die für deterministische Systeme entwickelt wurden, sind hier nur bedingt anwendbar.
Anwendungsbeispiel der ML-Dev-Ops-Pipeline
ITK Engineering arbeitet zum Beispiel bei dem von der Europäischen Union geförderten Projekt DigiEcoQuarry (DEQ) mit, bei dem es darum geht, die Effizienz und Sicherheit im Steinbruchbetrieb durch den Einsatz innovativer Technologien zu verbessern. Bild 1 zeigt einen Use-Case ähnlich wie im Projekt: die Implementierung eines KI-basierten Systems zur Personenerkennung, um Kollisionsrisiken zwischen Maschinen und Personen zu minimieren. Personen sollen vor dem Kübel (Schaufel) durch optische und/oder akustische Signale geschützt werden.
Konfrontiert mit den oben beschriebenen Herausforderungen bei der Entwicklung dieses Systems haben die Ingenieure und Ingenieurinnen der ITK Engineering das in Bild 2 dargestellte System aufgebaut. Die Szene wird zunächst von einer Kamera erfasst und anschließend von der KI bewertet. Dabei analysiert diese den Kontext, erkennt Personen, Fahrzeuge und Kübel und verfolgt deren Bewegungen. Befinden sich Personen zu nahe an einem Kübel, kann ein optischer oder akustischer Alarm ausgelöst und das Ereignis gespeichert werden. Ein damit verbundener möglicher Eingriff in den Maschinenbetrieb wird derzeit geprüft.
ML-Ops-Pipelines dienen zur effizienten Entwicklung, Bereitstellung und Überwachung von KI-Modellen und umfassen mehrere essenzielle Komponenten: Datenaufbereitung, Datenannotation und KI-Optimierungs-Loop. Diese Komponenten arbeiten eng zusammen, um die KI-Entwicklung zu optimieren und zu automatisieren und haben in Verbindung mit den Tools Datenaufbereitung, Datenannotations-Loop und KI-Optimierungs-Loop im Projekt DEQ zu guten Ergebnissen geführt, Bild 3.
Die Datenaufbereitung umfasst die Sammlung, Bereinigung und Aufbereitung der Rohdaten. Werkzeuge wie Databricks und FiftyOne werden eingesetzt, um die Datenaufbereitung zu verwalten und zu implementieren. Die Daten werden in Trainings-, Validierungs- und Testdatensätze aufgeteilt. Dieser Schritt bildet die Grundlage für die beiden folgenden Schritte.
Der iterative Prozess des Datenannotations-Loops konzentriert sich auf die kontinuierliche Verbesserung der Datenannotationen. CVAT kann für die Annotation von Bildern und Videos verwendet werden und FiftyOne kann die Überprüfung und Korrektur der Annotationen ermöglichen. Entwickler und Entwicklerinnen können dabei im Rahmen eines Human-in-the-Loop-Prozesses eingebunden werden.
KI-Optimierungs-Loop
Der KI-Optimierungs-Loop ist ein iterativer Zyklus zur kontinuierlichen Verbesserung des KI-Modells und besteht aus drei Phasen. In der ersten Phase, dem KI-Training, wird das Modell mit TensorFlow trainiert. AzureML und MLflow verwalten den Trainingsprozess, tracken Experimente und Metriken. Microsoft Azure bietet die skalierbare Infrastruktur für verteiltes Training und Hyperparameter-Optimierung. Transfer Learning und Datenaugmentation maximieren die Performance. Während der Phase der Datenauswahl bietet FiftyOne Möglichkeiten zur Visualisierung und Auswahl der informativsten Daten. Active Learning-Methoden optimieren die Datennutzung und reduzieren den Annotationsaufwand. In der dritten Phase, der KI-Verifikation, sichern automatisierte Tests und die Visualisierung der Metriken mit MLflow die Modellqualität und -robustheit ab. Nach erfolgreicher Verifikation erfolgt das Deployment mit Kognic.
Vorteile der Pipeline
Die ML-Ops-Pipeline bietet zahlreiche Vorteile, die zur Entwicklung robuster KI-Systeme im Off-Highway-Bereich beitragen. Durch standardisierte Workflows und Technologien wie MLflow und Azure Machine Learning wird die Reproduzierbarkeit von Modellen und Experimenten gewährleistet, was für die Validierung solcher Systeme essenziell ist.
Automatisierte Prozesse für die Datenvorverarbeitung, das Modelltraining, die Evaluierung und das Deployment, unterstützt durch Tools wie Databricks, TensorFlow und MLflow, reduzieren Fehler und steigern die Effizienz. Als letzter Schritt der Datenvorverarbeitung erfolgt eine manuelle Prüfung der Daten durch einen Menschen. Seltene Fehler können beispielsweise sein, dass Fahrzeugteile in ungewöhnlichen Ausrichtungen fälschlicherweise als Personen erkannt werden. Diese Fehler konnten die Ingenieurinnen und Ingenieure im Rahmen des DEQ-Projektes sehen und durch gezielte manuelle Anpassungen korrigieren, um sicherzustellen, dass für das Modelltraining und die Evaluierung ausschließlich präzise und kontextgerechte Personendaten verwendet werden.
Die Transparenz wird durch eine detaillierte Dokumentation und Nachvollziehbarkeit aller Schritte erhöht, was die Vertrauenswürdigkeit und Akzeptanz der KI-Modelle fördert. Zudem ermöglicht die Versionierung das Speichern und Verwalten verschiedener Versionen von Modellen und Datensätzen, was zur Fehlerbehebung und Optimierung beiträgt. So können beispielsweise auch große Sätze an simulierten Daten einfach integriert werden. Im Projekt DEQ hatte die Zunahme von synthetischen Daten vielversprechende Resultate hervorgebracht. Tabelle 1 fasst dieses Kapitel zusammen und zeigt, wie die oben beschriebenen Herausforderungen durch die Verwendung einer ML- Ops-Pipeline gelöst werden können.
Die Strukturierung und Analyse der Szenen und Kontexte durch die Pipeline definiert den Einsatzbereich des Modells klarer und erhöht die Nachvollziehbarkeit.
Schwierige Vorhersehbarkeit und Vertrauenswürdigkeit
Die MLOps-Pipeline mit Test- und Validierungsphasen verbessert die Vorhersehbarkeit. Die Validierung in ähnlichen Kontexten und die Vorabprüfung für neue Einsatzorte stärken das Vertrauen in das Modell. Die Quantifizierung der Unsicherheit misst die Zuverlässigkeit der Vorhersagen.
Daten
Gewährleistung der Datenqualität und -quantität
Die Integration von Tools wie FiftyOne in der MLOps-Pipeline verbessert die Datenverwaltung und -qualität, während Datenaugmentation und synthetische Datengenerierung seltene Ereignisse besser abdecken.
Annotation
CVAT und Active Learning optimieren den aufwändigen Annotationsprozess in der Pipeline.
Aktualität
Kontinuierliche Datenaktualisierung und Active Learning halten das Modell stets an das Betriebsumfeld angepasst.
V&V
Komplexität der Szenarien
Simulationsumgebungen und szenariobasiertes Testen in der Pipeline ermöglichen die Modellbewertung in vielfältigen Situationen, einschlieBlich kritischer und seltener Ereignisse im realen Betrieb.
Mangel an etablierten Standards
Normen erfordern kontextbasierte Validierung. Die Pipeline ermöglicht durch Traceability und Struktur die einfache Integration und quantitative Prüfung der Anforderungen.
Fazit
Die Entwicklung von Maschinenumgebungserfassungs-Systemen basierend auf KI im OHV-Bereich birgt erhebliche technische und methodische Herausforderungen. Ein vielversprechender Lösungsansatz zur Bewältigung dieser Herausforderungen ist die Implementierung spezialisierter ML-Ops-Pipelines. Diese bieten einen strukturierten und automatisierten Workflow für die verschiedenen Phasen der ML-Entwicklung. Dadurch können robustere, zuverlässigere und interpretierbarere ML-Modelle entwickelt werden. Das DigiEcoQuarry-Projekt ist ein anschauliches Beispiel für den erfolgreichen Einsatz einer ML-Ops-Pipeline, die eine zuverlässige Personenerkennung ermöglicht.
Zukünftige Entwicklungen werden sich unter anderem auf die Weiterentwicklung von ML-Ops-Pipelines konzentrieren, um die Robustheit und Sicherheit von KI-Systemen weiter zu verbessern. Die Integration neuer Sensortechnologien und -daten wird entscheidend sein, um die Objekterkennung unter verschiedenen Umweltbedingungen zu optimieren. Zudem werden die Entwicklung und Implementierung von Sicherheitsstandards und -prozessen eine zentrale Rolle spielen, um die formale Validierung und Verifikation von KI-Algorithmen zu erleichtern und damit die Sicherheit zu gewährleisten.
Hinweis
Dieses Projekt wurde im Rahmen der Finanzhilfevereinbarung Nr. 101003750 aus dem Forschungs- und Innovationsprogramm „Horizont 2020“ der Europäischen Union finanziert. Der aktuelle Bericht gibt ausschließlich die Meinung der Autoren wieder. Das DIGIECOQUARRY-Konsortium und die Kommission übernehmen keine Verantwortung für die Verwendung der darin enthaltenen Informationen.
