Metamorphes Testen zur Absicherung von Deep-Learning-basierten Objekterkennungssystemen

Der Beitrag beleuchtet die Herausforderungen beim Testen von Deep-Learning-basierten Objekterkennungssystemen, die zunehmend in autonomen Fahrzeugen eingesetzt werden. Die traditionellen Methoden, die auf Ground-Truth-Informationen basieren, sind oft ineffizient und kostenintensiv. IAV und die TU München haben daher eine innovative Methode namens Metamorphes Testen entwickelt und angewendet. Diese Methode verwendet Transformationen der Testeingaben, um die Konsistenz der Systemausgaben zu überprüfen, ohne dass eine Ground-Truth-Information erforderlich ist. Im Rahmen des Projekts wurden verschiedene Transformationen auf Lidardaten angewendet, um die Robustheit der Objekterkennungsalgorithmen unter verschiedenen Bedingungen zu testen. Die Ergebnisse zeigen, dass Metamorphes Testen eine vielversprechende Ergänzung zu bestehenden Testmethoden darstellt und besonders nützlich ist, um kritische Fehler in komplexen Szenarien zu identifizieren. Die detaillierte Analyse und die vorgestellten Anwendungsfälle bieten wertvolle Einblicke in die Praxis und die zukünftigen Möglichkeiten dieser Testmethode.