Wie gut können autonome Fahrzeuge sehen und hören?

Sensoren und Mikrofone ersetzen Sinne: Mithilfe unterschiedlicher Technik können autonome Fahrzeuge sehen und hören. Was können Radar, Lidar und Co. leisten? Ein Überblick. 

×

Zahlreiche Fahrerassistenzsysteme in modernen Fahrzeugen entlasten den Autofahrer, helfen ihm etwa beim Einparken oder überwachen den toten Winkel. Dabei erfassen Kamera, Lidar und Radar die relevanten Objekte in der Umgebung, sie fungieren quasi als Augen. Im Zusammenspiel mit diesen intelligenten Sensoren sollen künftig auch Systeme für den Hörsinn die Grundlage für das autonome Fahren bilden. Doch was genau können Radar, Lidar und Co.? Eine Einordnung. 

Ultraschall

In der Automobilbranche ist Ultraschall weit verbreitet als 1-D-Objektdetektion für die Einparkhilfe, erklärt Barbara Brauner von Toposens im Artikel 3-D-Ultraschallsensorik – Mehr Möglichkeiten in der Nahfelderkennung aus der ATZelektronik 1-2018. Ultraschall vereint verschiedene Vorteile: Der Ultraschallsensor ist sehr robust gegenüber externen Einflüssen. Dunkelheit oder direkte Lichteinstrahlung, Staub oder Schmutz sind kein Problem. "Zudem ist der Sensor klein, leicht und energieeffizient, benötigt keine nachgeschaltete Verarbeitungseinheit und liefert kleine Datenmengen, da nur die Position und nicht die Beschaffenheit der Objekte detektiert werden", so Brauner. 

Dazu kommt: Der Sensor lässt sich in großen Stückzahlen preiswert produzieren, da die Ultraschallkomponenten etablierte und damit kostengünstige Bauteile sind. Ultraschall kann die sicherheitsrelevanten Systeme im Nahbereich ergänzen, auch zur Erfassung von Situationen im Innenraum und des Fahrers. 

Kamera

Aufgrund ihrer vielfältigen Einsatzmöglichkeiten werden Kamerasysteme im Automobil sowohl zur Innenraumüberwachung als auch zur Umfelderfassung verwendet, so die Springer-Autoren Punke, Menzel, Werthessen, Stache und Höpfl im Kapitel Kamera-Hardware aus dem Handbuch Fahrerassistenzsysteme. So kommen sie etwa als Rückfahrkamera, in der automatischen Fernlichtfunktion, in der Fahrerüberwachung und Blicksteuerung oder HMI-Handgestensteuerung zum Einsatz. Insbesondere bei der Objekterkennung haben Stereokamerasysteme viele Vorteile. Wie die Springer-Autoren um Paul Schmalenberg im Buchkapitel Future Technology and Research Trends in Automotive Sensing (Seite 145) erklären, ist die Kamera der wichtigste Sensor, da sie in der Lage sei, zweidimensionale Informationen, Farbe und Textur von Zielen leicht zu erfassen. Um Verkehrsschilder und -signale, Fahrbahnmarkierungen und Straßenrandbefestigungen zu erkennen, könne eine Kamera die kostengünstigste Lösung sein. Außerdem sei sie in vielen Branchen weit verbreitet. 

Kameras sind sie auf gute Sichtverhältnisse angewiesen. Dunkelheit, Starkregen oder Nebel behindern die Funktionsfähigkeit. "Höhere Rechenleistungen ermöglichen sowohl Fortschritte in der Bildverarbeitung als auch den Einsatz von größeren Auflösungen der Bildsensoren. Höhere Bildwiederholraten und verbesserte Empfindlichkeiten sind zusätzliche Entwicklungen im Bereich der Kamerasensorik", so die Springer-Autoren Punke et.al. Nachteilig seien ferner die fehlende Möglichkeit einer direkten Entfernungsabschätzung sowie die Notwendigkeit der Verarbeitung großer Datenmengen, wie die Autoren um Schmalenberg erläutern. Die Zukunft der Kamera in einem weiten Bereich der Mobilität hänge davon ab, wie die Kombination von Sensoren und deren Daten mit Unterstützung von KI und maschinellem Lernen gehandhabt werden kann.

Lidar

Lidar "ist ein optisches Messverfahren, mit dem Objekte in der näheren Umgebung lokalisiert und ihre Entfernung, Geschwindigkeit sowie Bewegungsrichtung bestimmt werden können. Dabei sendet ein Laser in regelmäßigen Abständen Lichtpulse aus, die von den Objekten reflektiert werden. Das von der Oberfläche des Objekts zurückfallende Licht, lässt Rückschlüsse auf die Position sowie Beschaffenheit zu", erklären die Springer-Autoren Kernhof, Leuckfeld und Tavano im Kapitel Lidar-Sensorsystem für automatisiertes und autonomes Fahren des Buchs Automobil-Sensorik 2.

"Als Lichtquelle wird beim Lidar eine Laserquelle mit einer emittierten Wellenlänge oberhalb des sichtbaren Lichts im Bereich von 850 nm bis 1000 nm verwendet [...]. Um 3D-Messungen durchzuführen, nutzen die Sensoren mehrere Messebenen bei Öffnungs- und Erfassungswinkeln von bis zu 360°", erklärt Springer-Autor Matthias Hisung im Buchkapitel Fahrerassistenzsystem zur automatisierten Fahrzeugpositionierung (Seite 34). Das Einsatzgebiet von Lidar werden Fahrerassistenzsysteme sein, die eine permanent aktualisierte Kartierung der Fahrzeugumgebung nutzen und langfristig das autonome Fahren, prognostiziert Springer-Autor Kai Borgeest im Kapitel Hardware des Buchs Elektronik in der Fahrzeugtechnik. Lidarstrahlen können durch Nebel und schlechte Sichtverhältnisse, vor allem Gischt, mitunter stark gedämpft werden. Präzisere Solid-State-Lidare sollen künftig mechanische Abtastgeräte ablösen, wie die Springer-Autoren um Paul Schmalenberg (Seite 155) prognostizieren. 

Radar

Zunehmend werden Radarsysteme anstelle von Kameras eingesetzt. "Diese können zwar keine Spurmarkierung erkennen, funktionieren aber auch bei sehr schlechten Sichtverhältnissen", wie Springer-Autor Kai Borgeest im Kapitel Anwendungen des Buchs Elektronik in der Fahrzeugtechnik erklärt. Das Radar ermöglicht das Messen von Abständen und Geschwindigkeiten. Es sendet elektromagnetische Wellen aus, mittels denen sich Informationen über die Objekte gewinnen lassen. Radarsystem dienen beispielsweise der Kollisionsvermeidung. "Kurzbereichsradar (SRR, Short Range Radar) mit Reichweiten von einigen 10 m arbeitete früher bei 24 GHz, heute zwischen 77 GHz und 81 GHz. Weitbereichsradar (LRR, Long Range Radar) für Entfernungen von einigen 100 m arbeitet zwischen 76 und 77 GHz. Vereinzelt werden Radarsysteme mittlerer Reichweite (MRR, Mid Range Radar) im gleichen Frequenzbereich eingesetzt", so Borgeest. Präzisere Phased-Array-Radare sollen künftig mechanische Abtastgeräte ablösen, wie die Springer-Autoren um Paul Schmalenberg (Seite 155) prognostizieren. 

Sensorfusion 

Über Radar, Ultraschall und Lidar "können feste und sich bewegende Hindernisse erkannt werden, was eine relative Positionierung des Fahrzeugs möglich macht. […] Kameras können die Umgebung des Fahrzeugs sehr detailliert wahrnehmen und eine Vielzahl von Informationen bereitstellen. Allerdings ist die Verarbeitung sehr aufwendig sowie die Reichweite begrenzt", erläutert Springer-Autor Michael Nolting im Kapitel Autonomes Fahren und Künstliche Intelligenz des Buchs Künstliche Intelligenz in der Automobilindustrie. 

"Wo Radar, Kameras und Ultraschallsensoren in der Vergangenheit für voneinander unabhängige Funktionen verwendet wurden, können mittlerweile alle relevanten Daten mittels Sensorfusion intelligent und zeitgleich verknüpft werden", so der Autor weiter. Dies ermögliche erst das automatisierte Fahren, da hierdurch eine robuste Objekterkennung möglich ist. Durch diese Sensorfusion "kann eine detaillierte Darstellung der Umgebung und der darin agierenden Objekte erreicht werden", betont auch die Springer-Autoren Kernhof, Leuckfeld und Tavano im Kapitel Lidar-Sensorsystem für automatisiertes und autonomes Fahren des Buchs Automobil-Sensorik 2.

Ein wichtiger Aspekt bei allen Fahrzeugsensoren: die Qualität der Sensordaten. Wie lässt sich erkennen, ob ein selbstfahrendes Auto mit zunehmendem Alter "blind" geworden ist, die Sensoren also ausgetauscht werden müssten? Eine Empa-Forscherin sucht mit ihrem Team nach einer Lösung und erarbeitet einen Funktionstest für autonome Systeme. 

Hörsinn

Der Hörsinn ist neben dem Sehsinn der zweite Fernsinn, der für selbstfahrende Autos entscheidend ist. Und genau dieser Hörsinn, sprich Systeme, die in der Lage sind, Außengeräusche wahrzunehmen und einzuordnen, fehlt den Autos bislang. Doch sie sind wichtig, um künftig im Zusammenspiel mit intelligenten Radar- und Kamerasensorik die Grundlage für das autonome Fahren zu bilden. 

Um das "hörende Auto" zu realisieren, entwickeln Forscher am Fraunhofer IDMT in Oldenburg KI-basierte Technologien zur akustischen Ereigniserkennung. Externe akustische Wahrnehmungssysteme könnten zum Beispiel signalisieren, wenn ein Fahrzeug mit eingeschaltetem Martinshorn naht. In Zusammenarbeit mit Automobilherstellern und Zulieferern erprobt das Fraunhofer IDMT eigene Sensor-Technologien und Algorithmen und sammelt Testdaten auf der Teststrecke und der Straße. Experten der fka und Partner haben im Projekt Sonic Intelligence KI-basierte Algorithmen und geeignete Außenmikrofone entwickelt, die den Hörsinn des Fahrzeugs abbilden können und erlebbar machen. Neben der Erkennung von Martinshörnern sind viele Anwendungen der Sonic-Intelligence-Technologie denkbar: Hupen, Rückfahrsignale von Lkw, Straßenbahnsignale, Notruffunktionen von außen, Erkennung der Straßeneigenschaften, Überwachung der Fahrzeugeigenschaften sowie die Spracherkennung und -steuerung.

Basierend auf den Automotive-zertifizierten MEMS-Mikrofonen der Xensiv-Familie sowie den Aurix-MCUs kann ein System von Infineon und Reality AI Einsatzfahrzeuge oder andere Verkehrsteilnehmer frühzeitig erkennen, zuordnen sowie deren Ort und Bewegungsrichtung ermitteln. Das heißt, "mithilfe von Machine-Learning-Algorithmen können verschiedene Geräusche unterschiedlichen Fahrzeugtypen, Fahrrädern und Fußgängern zugeordnet, der Eintreffwinkel und die geschätzte Entfernung bestimmt und entschieden werden, ob sich der Verkehrsteilnehmer entfernt oder nähert", heißt es im Artikel Wie Autos hören lernen aus der ATZelektronik 1-2-2022. Der "Hörsinn" hat damit den Vorteil, Objekte erfassen zu können, die sich nicht im direkten Sichtfeld befinden, und damit frühestmöglich Gefahrensituationen zu vermeiden.