Sensoren der Zukunft liefern Entscheidungen statt Messwerte

Ausgestattet mit Künstlicher Intelligenz werden Messfühler zu Feldgeräten, die direkt vor Ort und ohne Zeitverluste Entscheidungen treffen. Der Datentransfer schrumpft auf ein Minimum.

Dass künstliche Intelligenz (KI) Sensordaten auswertet und daraus Entscheidungen oder Empfehlungen ableitet, ist nicht neu. So konnten beispielsweise Inline- und End-of-Line-Qualitätskontrollen in der Produktion auf ein neues Level gehoben und Funktionen wie Predictive Maintenance realisiert werden.

Allerdings sind es bislang oft leistungsstarke Rechner in einer Cloud, einem lokalen Rechenzentrum oder einem lokalen Server, die solche Auswertungen der Sensordaten durchführen. Nun eröffnen sich aber mit der Kombination von KI und Sensor in einer Einheit, oft auf einem einzigen Chip, ganz neue Möglichkeiten.

"Die industrielle Sensorik steht vor einem Paradigmenwechsel", sagt Prof. Dr. Klaus Stefan Drese (Hochschule Coburg). Er ist Chief Editor der neuen Studie 'Sensor Trends 2030' von AMA Verband für Sensorik und Messtechnik und VDI. "Während klassische Sensoren Rohdaten liefern, übernehmen KI-gestützte Systeme zunehmend Analyse- und Vorverarbeitungsaufgaben", erläutert Drese.

Damit tut sich eine ganze Palette von Vorteilen auf: Reaktionen können in Echtzeit erfolgen, statt gebremst durch lange Übertragungswege und -zeiten. Kostensenkungen, Energieeinsparung, Datensicherheit locken. Zudem ermöglichen intelligente Sensoren Anwendungen, die zuvor nicht realisierbar waren.

Vision-Systeme mit integrierter KI

Sensoren mit integrierten KI-Funktionen finden sich bereits in einigen Anwendungen. Sie sind aber bislang eher die Ausnahme als die Regel. Schon bevor ChatGPT der Öffentlichkeit präsentiert wurde, hatte beispielsweise der auf Vision-Systeme spezialisierte Sensorhersteller Sick Lösungen im Programm, bei denen KI-Algorithmen direkt in den Kameras die erfassten Bilder auswerten.

Bosch Sensortec stellte bereits 2020 einen selbstlernenden Bewegungssensor mit integrierten KI-Funktionen für den Einsatz in sogenannten Wearables vor. STMicroelectronics brachte 2022 eine "Intelligent Sensor Processing Unit" mit integrierten KI-Funktionen auf den Markt, die direkt im Sensor Entscheidungen aus den Sensordaten ableitet. Damit reihen sich die mit KI ausgestatteten Sensoren auch in den allgemeinen Trend zum Edge-Computing in Industrieanwendungen ein.

Volle Nutzung des Potentials steht noch aus

"Die Vorreiter setzen intelligente Sensoren schon nutzbringend ein, aber eine umfängliche Hebung des vollen Potentials steht noch aus. Und mit einer breiteren Nutzung werden sich auch die intelligenten Sensoren nochmal deutlich weiterentwickeln", betont Klaus Stefan Drese.

Darauf weisen auch Prognosen von Marktforschern hin. Fünf Analysehäuser liegen mit ihren Vorhersagen eng beieinander: Sie erwarten jährliche Wachstumsraten zwischen rund 42 und knapp 44 %. Von rund 5 Mrd. US-Dollar im Jahr 2024 soll der Markt für KI-Sensoren bis 2030 auf rund 40 Mrd. US-Dollar wachsen und bis 2034 auf 160 bis 180 Mrd. US-Dollar zulegen.

Dabei finden sich zwischen den beiden Gegenpolen KI in der Cloud oder KI mit dem Sensor auf dem gleichen Chip einige Abstufungen. "Die klassische Architektur eines Edge-AI-Sensorsystems besteht aus einem Mikrocontroller (MCU), der die Daten von den angeschlossenen Sensoren erfasst und verarbeitet." So beschreiben Zuzana Jirankova und Bartosz Boryna eine Zwischenstufe. Die beiden Senior Application Engineers bei STMicroelectronics erläutern, dieser Ansatz sei aber nicht geeignet, "wenn die Ausführung in Echtzeit eine wichtige Anforderung ist oder wenn der Stromverbrauch reduziert werden muss".

Maximal flexibel und stromsparend

"Wenn man die KI in den Sensor bringt, erreicht man maximale Flexibilität und den niedrigsten Energieverbrauch, weil nicht alle Sensordaten übertragen werden müssen", erläutert STMicroelectronics-Managerin Lisa Trollo. Stattdessen werden die Daten direkt im Sensor ausgewertet und dort entschieden, ob eine Situation vorliegt, in der andere Teile des Systems aktiviert werden müssen.

Das läuft in der Intelligent Sensor Processing Unit (ISPU) ab, in der STMicroelectronics einen KI-fähigen Signalprozessor mit sehr geringem Energieverbrauch und einen MEMS-Sensor auf einem Chip vereint hat. Im Vergleich zu der Kombination eines Sensors mit einem separaten Standard-MCU sinke der Stromverbrauch um 80 bis 85 %. Mit minimalem Stromverbrauch kann also ein Sensor autark seine Umgebung oder bestimmte Messwerte überwachen, während – etwa in einem Smartphone oder einer Smartwatch – der Hauptprozessor ruhen kann.

Oft ist der Geschwindigkeitsvorteil, der sich ergibt, wenn Messwerte direkt im Sensor ausgewertet werden, das entscheidende Argument. Die Vorteile bei den Latenzzeiten "sind erheblich", sagt Prof. Dr. Volker Lohweg (Technische Hochschule Ostwestfalen-Lippe), einer der Autoren der AMA/VDI-Studie. "Intelligente Sensoren extrahieren Merkmale direkt an der Quelle, statt Rohdaten zu übertragen. Das reduziert Datenvolumen und Verzögerungen deutlich – entscheidend für Anwendungen im Millisekundenbereich."

Millisekunden können entscheidend sein

Denn auch die vorausschauende Instandhaltung wird zunehmend zeitkritischer. "Predictive Maintenance entwickelt sich zur Preventive Maintenance. Sekundenbruchteile können entscheidend sein, um kritische Zustände zu verhindern", hebt Lohweg hervor.

Prof. Dr. Ireneusz Jablonski (Fraunhofer IPMS), ebenfalls Autor der Studie, betont: "Zudem erhöht die lokale Verarbeitung die Robustheit, was besonders beim Handhaben mehrstufiger Prozesse, bei denen eine zeitkritische Koordination von Maßnahmen erforderlich ist, wichtig ist." Cloud-Lösungen seien durch schwankende Netzwerklast oder Ausfälle anfällig. Intelligente Sensoren arbeiteten dagegen zuverlässig und unabhängig von der Infrastruktur.

Die Zeit- und Zuverlässigkeitsvorteile spielen bei verschiedensten Anwendungen eine wichtige Rolle. Beispielhaft nennen die drei Experten Produktionsmaschinen, Steuerungen und hochautomatisierte Fertigungslinien oder sicherheitskritische Anwendungen wie in Robotik, Medizintechnik oder Verkehrssystemen.

Datenmassen werden zum Problem

Nicht zu unterschätzen sind auch die Themen Datenvolumen, Datenschutz und Datensicherheit. Denn je umfassender beispielsweise eine Maschinenüberwachung ist, umso mehr werden die Datenmassen zum Problem.

"In Anlagen mit Hunderten Sensoren wäre eine Cloud-Analyse kaum praktikabel. Intelligente Sensoren filtern Daten lokal und übertragen nur Relevantes. Darüber hinaus ist die Datenübertragung nicht nur zeitaufwendig, sondern auch ein wesentlicher Faktor für die Energieeffizienzbilanz und birgt das Risiko von Informationslecks, die Daten- und System-/Prozesssicherheit gefährden können", erläutert Jablonski.

Speziell bei Sicherheitsanwendungen kann es auch wichtig sein, dass Menschen erkannt werden, wenn etwa eine Maschine auf sie zufährt. Gleichzeitig kann die Überwachung des Menschen ein Datenschutzproblem sein. Das Problem taucht gar nicht erst auf, wenn ein intelligenter Sensor nur "Alarm" gibt, wenn die Maschine den Menschen gefährdet – damit sie stoppen oder ausweichen kann – und die Daten auch nicht speichert.

Je nachdem, welche Vorteile einer Edge-KI-Lösung am wichtigsten sind und welche Rechenleistung im Einzelfall erforderlich ist, können sich die verwendeten Konstellationen deutlich unterscheiden. Nicht immer ist die Maximal-Lösung mit Sensor und KI-Prozessor auf dem gleichen Chip machbar und sinnvoll.

Modularer Aufbau mit Standardsensoren

Wenn es um Anwendungen geht, bei denen ein modularer Aufbau hilfreich ist, oder wenn so viel Rechenleistung nötig ist, dass sich die nötige Hardware nicht direkt im Sensor integrieren lässt, oder wenn Daten mehrerer Sensoren fusioniert werden müssen, kann Edge auch bedeuten, dass die Rechenleistung "nur" sehr nah am Sensor platziert ist.

So hat das Fraunhofer IPMS einen Demonstrator für die Zustandsüberwachung und vorausschauende Wartung entwickelt. Dabei kommt ein auf die jeweilige Anwendung abgestimmtes Set verschiedener Standardsensoren zum Einsatz, das mit einer separaten, aber direkt am Einsatzort platzierten Edge-Computing-Einheit verbunden ist. Sind die KI-Modelle nicht sehr anspruchsvoll, reicht ein einfacher Mikrocontroller aus. Für aufwendigere Berechnungen sei dann aber eher die Leistungsfähigkeit eines Nvidia-System-on-Chip gefragt.

Ein wichtiges Anwendungsfeld für verteilte Edge-KI sind auch Assistenzsysteme und die Automatisierung von Fahrfunktionen im Automobil. Sicherheitsrelevante Auswertungen und Entscheidungen in eine Cloud auszulagern, verbietet sich hier schon deshalb, weil die Verbindung zur Cloud nicht zu jeder Zeit und an jedem Ort mit absoluter Sicherheit garantiert werden kann. Selbst bei funktionierender Cloud-Verbindung kann es zu inakzeptabel langen Verzögerungen kommen.

Deshalb muss jedes Fahrzeug hier autark agieren. Komplexe KI-Modelle laufen in sehr leistungsfähigen Zentralrechnern der Fahrzeuge, was die Latenzzeiten schon minimiert. Aber teils rücken die KI-Prozessoren auch schon an den jeweiligen Sensor heran und in ihn hinein.

LiDAR-Systeme liefern bereinigte Punktewolken

"Es wird immer mehr zum Standard, dass KI-Funktionen direkt in den Sensor integriert werden", erklärt Christophe Minster im Gespräch mit springerprofessional.de. Laut dem Vice President für LiDAR-Systeme beim Automobilzulieferer Valeo ist dies beispielsweise bei kamerabasierten Spurhalteassistenten der Fall, aber auch bei adaptiven Geschwindigkeitsreglern, für die normalerweise Radarsysteme die erforderlichen Daten liefern. 

"In solchen Fällen hilft die KI im Sensor dabei, die richtigen Informationen an die ADAS-Steuerung oder die zentrale Recheneinheit zu liefern, wo die endgültige Entscheidung über Lenkung, Bremsen oder Beschleunigung getroffen wird", so Minster weiter. 

Dank dieser KI-Vorverarbeitung der Daten kann der LiDAR-Sensor beispielsweise eine saubere Punktwolke ausgeben. Darin sind Artefakte, die durch die Sensor-Hardware verursacht werden, wie Blooming, Cleaning oder Heating, bereits entfernt.

Zusatznutzen überwiegt die Mehrkosten

Integriert man zusätzliche Rechenleistung in Sensoren, werden diese natürlich auch deutlich teurer. "Typisch ist ein Faktor von 2:1 gegenüber klassischen Sensoren", doch der Nutzen rechtfertige das, so Prof. Lohweg. Zudem gingen die Preise jährlich um rund 25 % zurück. "Betrachtet man die Gesamtkosten, können intelligente Sensoren sogar günstiger sein. Sie senken Datenübertragungs- und Infrastrukturkosten und reduzieren Ausfallrisiken", hebt Fraunhofer-Experte Jablonski hervor.

Die Verbreitung intelligenter Sensoren hat auch Einfluss auf die Aufgabenteilung zwischen Sensor-hersteller und -anwender. Grundsätzlich bleibt zwar die Interpretation der Daten "Aufgabe des Anwenders mit seinem Prozesswissen", wie Lohweg erläutert. Andererseits fehle den KI-Neulingen unter den Anwendern zunächst oft das Wissen zu den intelligenten Sensoren, deren Anforderungen und Einsatzmöglichkeiten, ergänzt Drese. Daher seien "Hersteller zunehmend auch gefragt, den Prozess zur sinnvollen Anwendung zu begleiten". Zudem übernehmen Hersteller "jedoch zunehmend die Rolle, Analysebausteine bereitzustellen, die Anwender flexibel anpassen können", betont Prof. Jablonski.