Sensoren und Mikrofone ersetzen Sinne: Mithilfe unterschiedlicher Technik können autonome Fahrzeuge sehen und hören. Was können Radar, Lidar und Co. leisten? Ein Überblick. (Update)
Zahlreiche Fahrerassistenzsysteme in modernen Fahrzeugen entlasten den Autofahrer, helfen ihm etwa beim Einparken oder überwachen den toten Winkel. Dabei erfassen Kamera, Lidar und Radar die relevanten Objekte in der Umgebung, sie fungieren quasi als Augen. Im Zusammenspiel mit diesen intelligenten Sensoren sollen künftig auch Systeme für den Hörsinn die Grundlage für das autonome Fahren bilden. Doch was genau können Radar, Lidar und Co.? Eine Einordnung.
Ultraschall
In der Automobilbranche ist Ultraschall weit verbreitet als 1-D-Objektdetektion für die Einparkhilfe, erklärt Barbara Brauner von Toposens im Artikel 3-D-Ultraschallsensorik – Mehr Möglichkeiten in der Nahfelderkennung aus der ATZelektronik 1-2018. Als Parkhilfesystem hielt Ultraschallsensorik erstmals 1991 mit dem 7er BMW seinen Einzug in die Fahrerassistenz, so Springer-Autor Heinrich Gotzig im Buchkapitel Ultraschallsensorik. Mittlerweile finden sich Ultraschallsensoren in nahezu jedem neu zugelassenen Fahrzeug.
Ultraschall vereint verschiedene Vorteile: Der Ultraschallsensor ist sehr robust gegenüber externen Einflüssen. Dunkelheit oder direkte Lichteinstrahlung, Staub oder Schmutz sind kein Problem. "Zudem ist der Sensor klein, leicht und energieeffizient, benötigt keine nachgeschaltete Verarbeitungseinheit und liefert kleine Datenmengen, da nur die Position und nicht die Beschaffenheit der Objekte detektiert werden", so Brauner. Dazu kommt: Der Sensor lässt sich in großen Stückzahlen preiswert produzieren, da die Ultraschallkomponenten etablierte und damit kostengünstige Bauteile sind. Ultraschall kann die sicherheitsrelevanten Systeme im Nahbereich ergänzen, auch zur Erfassung von Situationen im Innenraum und des Fahrers.
Und die Technologie ist noch nicht am Ende. Zum einen werde die Ultraschalltechnik, so Autor Gotzig, für weitere Applikationen wie automatisierte Einparksysteme oder Blind Spot Detection verwendet. Eine erweiterte Signalverarbeitung ermögliche zudem eine sogenannte "hidden integration" (Einbau der Sensoren hinter dem Stoßfänger) zur Entfernungsmessung. Zum anderen bediene sich die nächste Evolutionsstufe der Ultraschallsensorik des Prinzips, wie Fledermäuse ihr Umfeld sensieren. Für die nächsten Jahre seien noch weitere Verbesserungen von Ultraschallsensoren zu erwarten, so Gotzig, die sich im Wesentlichen durch eine immer bessere Signalverarbeitung, insbesondere durch den Einsatz maschineller Lernverfahren, ergeben würden.
Kamera
Aufgrund ihrer vielfältigen Einsatzmöglichkeiten werden Kamerasysteme im Automobil sowohl zur Innenraumüberwachung als auch zur Umfelderfassung verwendet, so die Springer-Autoren Punke, Menzel, Werthessen, Stache und Höpfl im Kapitel Kamera-Hardware aus dem Handbuch Fahrerassistenzsysteme. So kommen sie etwa als Rückfahrkamera, in der automatischen Fernlichtfunktion, in der Fahrerüberwachung und Blicksteuerung oder HMI-Handgestensteuerung zum Einsatz. Insbesondere bei der Objekterkennung haben Stereokamerasysteme viele Vorteile. Wie die Springer-Autoren um Paul Schmalenberg im Buchkapitel Future Technology and Research Trends in Automotive Sensing (Seite 145) erklären, ist die Kamera der wichtigste Sensor, da sie in der Lage sei, zweidimensionale Informationen, Farbe und Textur von Zielen leicht zu erfassen. Um Verkehrsschilder und -signale, Fahrbahnmarkierungen und Straßenrandbefestigungen zu erkennen, könne eine Kamera die kostengünstigste Lösung sein. Außerdem sei sie in vielen Branchen weit verbreitet.
Kameras sind auf gute Sichtverhältnisse angewiesen. Dunkelheit, Starkregen oder Nebel behindern die Funktionsfähigkeit. "Höhere Rechenleistungen ermöglichen sowohl Fortschritte in der Bildverarbeitung als auch den Einsatz von größeren Auflösungen der Bildsensoren. Höhere Bildwiederholraten und verbesserte Empfindlichkeiten sind zusätzliche Entwicklungen im Bereich der Kamerasensorik", so die Springer-Autoren Punke et.al. Nachteilig seien ferner die fehlende Möglichkeit einer direkten Entfernungsabschätzung sowie die Notwendigkeit der Verarbeitung großer Datenmengen, wie die Autoren um Schmalenberg erläutern. Die Zukunft der Kamera in einem weiten Bereich der Mobilität hänge davon ab, wie die Kombination von Sensoren und deren Daten mit Unterstützung von KI und maschinellem Lernen gehandhabt werden kann.
Kamerasysteme haben sich mittlerweile zu den Hauptsensoren in modernen Fahrzeugen entwickelt. Im Bereich des automatisierten Fahrens seien Ausstattungen von mehr als zehn Kameras die Regel, so die Springer-Autoren um Martin Punke im Buchkapitel Kamerasensorik. "Dieser Trend zu mehr und höherwertigen Kameras erfordert natürlich auch Verbesserungen im Bereich der Kamerasensorik, Signalübertragung und Bilderarbeitung. Hier werden in Zukunft zentrale Verarbeitungseinheiten mit Hochleistungsprozessoren eine entscheidende Rolle spielen", erklären die Autoren. In der Anwendung der Kamerasysteme sei die Verschmelzung von Aspekten von maschinellem Sehen und von anzeigenden Systemen zu erkennen.
Lidar
Lidar (Light Detection and Ranging) "ist ein optisches Messverfahren, mit dem Objekte in der näheren Umgebung lokalisiert und ihre Entfernung, Geschwindigkeit sowie Bewegungsrichtung bestimmt werden können. Dabei sendet ein Laser in regelmäßigen Abständen Lichtpulse aus, die von den Objekten reflektiert werden. Das von der Oberfläche des Objekts zurückfallende Licht, lässt Rückschlüsse auf die Position sowie Beschaffenheit zu", erklären die Springer-Autoren Kernhof, Leuckfeld und Tavano im Kapitel Lidar-Sensorsystem für automatisiertes und autonomes Fahren des Buchs Automobil-Sensorik 2.
"Als Lichtquelle wird beim Lidar eine Laserquelle mit einer emittierten Wellenlänge oberhalb des sichtbaren Lichts im Bereich von 850 nm bis 1000 nm verwendet [...]. Um 3D-Messungen durchzuführen, nutzen die Sensoren mehrere Messebenen bei Öffnungs- und Erfassungswinkeln von bis zu 360°", erklärt Springer-Autor Matthias Hisung im Buchkapitel Fahrerassistenzsystem zur automatisierten Fahrzeugpositionierung (Seite 34). Das Einsatzgebiet von Lidar werden Fahrerassistenzsysteme sein, die eine permanent aktualisierte Kartierung der Fahrzeugumgebung nutzen und langfristig das autonome Fahren, prognostiziert Springer-Autor Kai Borgeest im Kapitel Hardware des Buchs Elektronik in der Fahrzeugtechnik. Lidarstrahlen können durch Nebel und schlechte Sichtverhältnisse, vor allem Gischt, mitunter stark gedämpft werden. Präzisere Solid-State-Lidare sollen künftig mechanische Abtastgeräte ablösen, prognostizieren die Springer-Autoren um Paul Schmalenberg (Seite 155). Wie witterungsabhängig verschiedene Lidarsensoren sind, hat die HTW Dresden untersucht.
Bislang hat sich die Hoffnung der OEMs, ein Lidar für alle Anwendungsfälle zu entwickeln, noch nicht erfüllt. "Es wird der Branche mehr und mehr bewusst, dass diese Technologie hochkomplex und gleichzeitig äußerst filigran ist", betonen die Springer-Autoren um Thorsten Beuth im Buchkapitel Lidar. So würden mehr und mehr die unterschiedlichen Anwendungsszenarien in den Vordergrund wandern: Das Parken und das Fahren bei langsamen Geschwindigkeiten könnten hier von Nahfeld-Lidars unterstützt werden, während Lidars mit langer Reichweite für ACC und Kollisionswarnungen im Stadtverkehr dienlich seien. Langfristig müsste folgende Frage gestellt werden: Besteht eine Konkurrenz zu Radar, Kamera und Ultraschallsensoren, da prinzipiell diese Sensorarten alle durch Lidars ersetzt werden können?
Radar
Zunehmend werden Radarsysteme anstelle von Kameras eingesetzt. "Diese können zwar keine Spurmarkierung erkennen, funktionieren aber auch bei sehr schlechten Sichtverhältnissen", wie Springer-Autor Kai Borgeest im Kapitel Anwendungen des Buchs Elektronik in der Fahrzeugtechnik erklärt. Das Radar ermöglicht das Messen von Abständen und Geschwindigkeiten. Es sendet elektromagnetische Wellen aus, mittels denen sich Informationen über die Objekte gewinnen lassen. Radarsystem dienen beispielsweise der Kollisionsvermeidung. "Kurzbereichsradar (SRR, Short Range Radar) mit Reichweiten von einigen 10 m arbeitete früher bei 24 GHz, heute zwischen 77 GHz und 81 GHz. Weitbereichsradar (LRR, Long Range Radar) für Entfernungen von einigen 100 m arbeitet zwischen 76 und 77 GHz. Vereinzelt werden Radarsysteme mittlerer Reichweite (MRR, Mid Range Radar) im gleichen Frequenzbereich eingesetzt", so Borgeest. Präzisere Phased-Array-Radare sollen künftig mechanische Abtastgeräte ablösen, wie die Springer-Autoren um Paul Schmalenberg (Seite 155) prognostizieren.
Radarsensoren spielen in der aktuellen Fahrerassistenz und als Sensoren für das automatisierte Fahren insbesondere ihre Stärken hinsichtlich Robustheit, Doppler- und Entfernungsmessung aus, wie die Springer-Autoren Hermann Winner und Christian Waldschmidt im Buchkapitel Radarsensorik erklären. Die Sensoren sind mittlerweile ein Massenprodukt geworden. Aktuell und in den kommenden Jahren sei Chirp Sequence das vorherrschende Modulationsverfahren. "Das MIMO-Prinzip wird übergreifend genutzt und die Hardware-Integration schreitet stetig voran", so die Autoren. Digitale Modulationsverfahren seien von einzelnen Herstellern angekündigt worden. Wann sich diese Verfahren jedoch durchsetzen, sei offen. Eines der aktuellen Schlüsselthemen der Forschung sei die Frage, wie zukünftige Systeme partitioniert sind.
Sensorfusion
Über Radar, Ultraschall und Lidar "können feste und sich bewegende Hindernisse erkannt werden, was eine relative Positionierung des Fahrzeugs möglich macht. […] Kameras können die Umgebung des Fahrzeugs sehr detailliert wahrnehmen und eine Vielzahl von Informationen bereitstellen. Allerdings ist die Verarbeitung sehr aufwendig sowie die Reichweite begrenzt", erläutert Springer-Autor Michael Nolting im Kapitel Autonomes Fahren und Künstliche Intelligenz des Buchs Künstliche Intelligenz in der Automobilindustrie.
"Wo Radar, Kameras und Ultraschallsensoren in der Vergangenheit für voneinander unabhängige Funktionen verwendet wurden, können mittlerweile alle relevanten Daten mittels Sensorfusion intelligent und zeitgleich verknüpft werden", so der Autor weiter. Dies ermögliche erst das automatisierte Fahren, da hierdurch eine robuste Objekterkennung möglich ist. Durch diese Sensorfusion "kann eine detaillierte Darstellung der Umgebung und der darin agierenden Objekte erreicht werden", betont auch die Springer-Autoren Kernhof, Leuckfeld und Tavano im Kapitel Lidar-Sensorsystem für automatisiertes und autonomes Fahren des Buchs Automobil-Sensorik 2. Abhängig von der Position entlang der Verarbeitungskette, an der die Informationen der Sensoren kombiniert werden, werden drei verschiedene Arten von Sensordatenfusion unterschieden, wie Bosch im Kapitel Fahrerassistenz und Sensorik des Kraftfahrtechnischen Taschenbuchs erklärt. Dies seien die frühe, die mittlere und die späte Fusion. Die späte Fusion (Objekte werden sensorspezifisch wahrgenommen, bevor sie kombiniert werden) sei die zurzeit im Bereich der Fahrerassistenzsysteme am häufigsten eingesetzte Lösung.
Ein wichtiger Aspekt bei allen Fahrzeugsensoren: die Qualität der Sensordaten. Wie lässt sich erkennen, ob ein selbstfahrendes Auto mit zunehmendem Alter "blind" geworden ist, die Sensoren also ausgetauscht werden müssten? Eine Empa-Forscherin sucht mit ihrem Team nach einer Lösung und erarbeitet einen Funktionstest für autonome Systeme.
Zudem stellt sich die Frage, so Andrea Conti im ATZelektronik-Gastkommentar, wie viel Sensorik ein Auto brauche.Hörsinn
Der Hörsinn ist neben dem Sehsinn der zweite Fernsinn, der für selbstfahrende Autos entscheidend ist. Und genau dieser Hörsinn, sprich Systeme, die in der Lage sind, Außengeräusche wahrzunehmen und einzuordnen, fehlt den Autos bislang. Doch sie sind wichtig, um künftig im Zusammenspiel mit intelligenten Radar- und Kamerasensorik die Grundlage für das autonome Fahren zu bilden.
Um das "hörende Auto" zu realisieren, entwickeln Forscher am Fraunhofer IDMT in Oldenburg KI-basierte Technologien zur akustischen Ereigniserkennung. Externe akustische Wahrnehmungssysteme könnten zum Beispiel signalisieren, wenn ein Fahrzeug mit eingeschaltetem Martinshorn naht. In Zusammenarbeit mit Automobilherstellern und Zulieferern erprobt das Fraunhofer IDMT eigene Sensor-Technologien und Algorithmen und sammelt Testdaten auf der Teststrecke und der Straße. Experten der fka und Partner haben im Projekt Sonic Intelligence KI-basierte Algorithmen und geeignete Außenmikrofone entwickelt, die den Hörsinn des Fahrzeugs abbilden können und erlebbar machen. Neben der Erkennung von Martinshörnern sind viele Anwendungen der Sonic-Intelligence-Technologie denkbar: Hupen, Rückfahrsignale von Lkw, Straßenbahnsignale, Notruffunktionen von außen, Erkennung der Straßeneigenschaften, Überwachung der Fahrzeugeigenschaften sowie die Spracherkennung und -steuerung.
Basierend auf den Automotive-zertifizierten MEMS-Mikrofonen der Xensiv-Familie sowie den Aurix-MCUs kann ein System von Infineon und Reality AI Einsatzfahrzeuge oder andere Verkehrsteilnehmer frühzeitig erkennen, zuordnen sowie deren Ort und Bewegungsrichtung ermitteln. Das heißt, "mithilfe von Machine-Learning-Algorithmen können verschiedene Geräusche unterschiedlichen Fahrzeugtypen, Fahrrädern und Fußgängern zugeordnet, der Eintreffwinkel und die geschätzte Entfernung bestimmt und entschieden werden, ob sich der Verkehrsteilnehmer entfernt oder nähert", heißt es im Artikel Wie Autos hören lernen aus der ATZelektronik 1-2-2022. Der "Hörsinn" hat damit den Vorteil, Objekte erfassen zu können, die sich nicht im direkten Sichtfeld befinden, und damit frühestmöglich Gefahrensituationen zu vermeiden.