Mit der steigenden Leistungsfähigkeit von mobilen Computern und Anzeigegeräten hat sich die Nutzung von Augmented-Reality-Technologien in den letzten zehn Jahren verstärkt. Augmented Reality (AR) ist eine Technik, die es den Nutzern ermöglicht, mit ihrer physischen Umgebung durch die Überlagerung digitaler Informationen zu interagieren. Diese Technologie hebt bestimmte Merkmale der physischen Welt hervor, verbessert das Verständnis für diese Merkmale und bietet intelligente und zugängliche Einblicke. AR-Anwendungen haben das Potenzial, enorme Auswirkungen auf Branchen wie Produktion, Medizin, Forschung, Ausbildung und Unterhaltung zu bewirken. Der Fokus dieses Artikels liegt auf den AR-Anwendungen im Bereich der Produktion, die vor allem in den Bereichen Montage, Reparatur, Diagnose und Schulung eingesetzt werden. Außerdem werden die Effektivität und Effizienz von AR-Technologien in diesem Bereich anhand von vier dieser Anwendungen vorgestellt.
1 Einleitung
In den letzten Jahrzehnten haben sich der rasche technologische Fortschritt und der daraus bedingte Wandel auf die Interaktion zwischen Mitarbeitern, Maschinen, Prozessen und Produkten ausgewirkt und dazu geführt, dass die Grenzen zwischen der physischen und der digitalen Welt schrumpfen. Eine der Technologien, die es Nutzern ermöglicht, mit ihrer physischen Umgebung durch die Überlagerung digitaler Informationen zu interagieren, ist die sogenannte Augmented Reality (AR).
Die aktuelle Verfügbarkeit von AR-Geräten ermöglicht die Entwicklung und Erforschung von neuen Anwendungen. Zahlreiche Forschungen und Studien wurden durchgeführt, um die Anwendungen von AR, ihre Vorteile und Grenzen, die Auswirkungen dieser Technologie auf die Beschäftigten und ihre Zukunftsaussichten zu analysieren (Billinghurst et al. 2015; Dalle Mura und Dini 2021; Dhiman et al. 2018; Fraga-Lamas et al. 2018; Hoffmann et al. 2020). AR wurde in vielen Bereichen angewandt und untersucht, z. B. in der Montageunterstützung (Büttner et al. 2017b), der Berufsausbildung (Fehling et al. 2016), der Maschinenwartung (Palmarini et al. 2018) oder auch im medizinischen Bereich (Prilla et al. 2019).
Advertisement
Diese Arbeit gibt einen kurzen Überblick über Anwendungen in der Produktion, die AR-Technologien einsetzen und beschreibt vier solcher Anwendungen. Dieser Artikel ist wie folgt aufgebaut: Zunächst wird der Begriff AR definiert und eine Klassifizierung dieser Technologie nach den verwendeten Endgeräten gegeben. Anschließend wird ein kurzer Überblick über AR-Anwendungen in der Produktion vermittelt. Schließlich werden vier Anwendungsfälle im Bereich der Instandhaltung und Qualitätskontrolle vorgestellt und zum Schluss kurz reflektiert.
2 Definition AR
AR ist eine Abwandlung von Virtual Reality (VR), bei der virtuelle Objekte der realen Umgebung überlagert werden (Azuma 1997). AR erweitert die reale physische Welt durch Überlagerung digitaler visueller Elemente und verschiedener sensorischer Informationen wie Audio. Im Gegensatz dazu ist VR eine Mensch-Computer-Schnittstelle, die die reale Welt simuliert (oder von ihr abweicht), wobei die Teilnehmer die Möglichkeit haben, sich in dieser virtuellen Welt zu bewegen, sie aus verschiedenen Blickwinkeln zu sehen, in sie hineinzugreifen, sie zu berühren und sie umzugestalten (Zheng et al. 1998).
AR muss grundlegend drei Anforderungen erfüllen: Die Kombination von virtuellen und realen Objekten in einer realen Umgebung, ein interaktiver Betrieb und die Echtzeit-Registrierung von realen und virtuellen Objekten untereinander (Souza Cardoso et al. 2020).
Um die Echtzeit-Überlagerung von Objekten zu gewährleisten, müssen AR-Systeme die Position und Orientierung der virtuellen Objekte schätzen. Dies wird meist durch die Verwendung von Markern in der realen Szene realisiert. Dennoch gibt es Anwendungen, bei denen die Verwendung von Markern nicht praktikabel ist (Lima et al. 2017). In solchen Anwendungsfällen werden markerlose Verfolgungsmethoden, wie Natural Feature Tracking (NFT) (Fraga-Lamas et al. 2018) und Simultaneous Localization and Mapping (SLAM) (Billinghurst et al. 2015) eingesetzt.
Advertisement
Unabhängig von der Methode, die zur Bestimmung der Position und Ausrichtung des virtuellen Objekts verwendet wird, können AR-Technologien in drei Gruppen bzgl. ihrer Visualisierung eingeteilt werden:
1.
Head Mounted Displays (HMD). Hierbei handelt es sich um tragbare Geräte, wie Brillen oder Helme (Büttner et al. 2016; Dhiman et al. 2018).
2.
Mobile Displays, wie Smartphones und Tablets, oder feste Screens, wie z. B. Monitore.
3.
Spatial Augmented Reality (SAR). Diese Systeme verwenden Projektoren, um die virtuellen Informationen direkt auf die realen Objekte zu projizieren (Souza Cardoso et al. 2020; Büttner et al. 2018).
AR-Technologien werden zu unterschiedlichen Zwecken eingesetzt, z. B. um für Produkte oder Dienstleistungen zu werben, Daten zu sammeln oder das Engagement und die Interaktion mit den Nutzern zu erhöhen (Hoffmann et al. 2020).
Eine weitere Variante der VR ist die Mixed Reality (MR), die zunehmend an Popularität und Bedeutung gewinnt. MR kombiniert Elemente von AR und VR (Speicher et al. 2019). Zusätzlich zu industriellen Anwendungen, die in Abschn. 4.2 beschrieben werden finden sich weitere Anwendungen von MR in den Bereichen Gesundheit, Bildung, soziale Medien und Spiele. Weitere Informationen über die Arten von Realität und virtueller Realität und ihre Anwendungen enthält (Farshid et al. 2018).
3 AR-Anwendungen in der Produktion
Die Produktionsindustrie ist ein Bereich, in dem das Interesse am Einsatz von AR-Technologien und -Werkzeugen immer mehr zunimmt (Dalle Mura und Dini 2021). AR wird in der Produktion hauptsächlich für vier Aufgaben eingesetzt: Montage, Reparatur, Diagnose und Schulung (Palmarini et al. 2018). Ein Überblick über die technischen Merkmale und Eigenschaften der Anwendungen von AR für Montagesysteme wurde in (Wang et al. 2016; Syberfeldt et al. 2017; Büttner et al. 2017a; Dalle Mura und Dini 2021) veröffentlicht. Sie analysierten die Themen Tracking und Registrierung, kollaborative Schnittstellen, 3D-Arbeitsplatzszenen Erfassung sowie Wissensrepräsentation und kontextbewusste Montagesysteme. Diese Beiträge umfassten auch einen Vergleich unterschiedlicher AR-Hardware und -Technologien. Außerdem wurden in verschiedenen Studien die Anwendungen analysiert, bei denen AR-Systeme zum Einsatz kommen (Fraga-Lamas et al. 2018; Hoffmann et al. 2020; Dalle Mura und Dini 2021).
In (Blattgerste et al. 2018, 2017; Hoffmann et al. 2020) wurde die Verwendung von Smartphones, und Smart Glasses mit der Verwendung von papierbasierten Anleitungen verglichen. Die Ergebnisse zeigten, dass die Probanden das Produkt schneller und mit weniger Fehlern aufbauen konnten. Eine digitale Brille wurde auch in (Hanson et al. 2017) eingesetzt, um Informationen für den beteiligten Mitarbeiter zu präsentieren. Ein ähnlicher Ansatz wurde auch in verschiedenen Luftfahrtindustrien verfolgt (Safi et al. 2019). In (Westerfield et al. 2015) wurde AR in einem Lernsystem für die Montage von Motherboards (Hauptplatinen) eingesetzt. Ähnliche Ansätze zu Montageassistenzsystemen für industrielle Anwendungen werden in (Sand et al. 2016) vorgestellt.
Um die Komplexität der Montage und Demontage von Autos zu verringern, wurde in (Aouam et al. 2018) eine sprachbasierte Interaktionstechnik in ein Augmented-Reality-System integriert. Die in Textbefehle umgewandelten Sprachbefehle lassen beide Hände frei, sodass der Benutzer die verschiedenen Komponenten händisch manipulieren kann. Die Wirkung von AR wurde darüber hinaus bei Fahrzeugreparaturen in (Hoffmann et al. 2020) untersucht, der Fokus lag dabei auf bekannten und unbekannten Reparaturaufgaben. Die Ergebnisse belegen die Vorteile von AR bei unbekannten Aufgaben, wie z. B. die Verringerung der Ausführungszeit und die Erhöhung der Qualität bei gleichzeitiger Reduzierung der Fehlerquote.
In der Regel werden AR-Technologien in der Montage eingesetzt, um die Arbeiter zu unterstützen, indem verschiedene visuelle Merkmale zur Erläuterung von Montagevorgängen mit unterschiedlichem Schwierigkeitsgrad eingesetzt werden. Die Studie in (Radkowski et al. 2015) hat gezeigt, dass je komplexer die auszuführende Aufgabe ist, desto leichter zu verstehen ist die durch das visuelle Merkmal gegebene Anweisung. Somit sind AR-basierte Methoden leistungsfähiger als Anweisungen auf Papier.
Laut (Agati et al. 2020) sind Montage und Instandhaltung die häufigsten Anwendungsbereiche von AR. Neben der Prozessführung sind die Qualitätskontrolle und die Inspektion ebenfalls wichtige Aspekte in der Produktion. In (BMW Group Homepage 2019) wurde ein mobiles Anzeigesystem eingesetzt, um die korrekte Position des Rücklichts eines Fahrzeugs und seine Ausrichtung in Bezug auf die umgebenden Karosserieteile zu bestimmen. Eine ähnliche Technologie wird bei Airbus eingesetzt, um die Produktion und Fehlererkennung mit MiRA (Mixed Reality Application) zu unterstützen (Frigo et al. 2016). TAE Aerospace hat eine Assisted Reality (AsR) Technologie entwickelt, die aus einer AR-Brille, einer Kamera, einem Mikrofon und einem Lautsprecher besteht (Safi et al. 2019). Mithilfe von AR in einer Telekonferenzumgebung können Techniker mit Ingenieuren kommunizieren, während sie Flugzeugtriebwerke inspizieren oder reparieren.
Schließlich werden AR-Technologien eingesetzt, um schnelle, bedarfsorientierte und flexible Bildungs- und Ausbildungskonzepte anzubieten. AR-Geräte stellen ein innovatives Lernmedium dar, das aufgrund seiner technologischen Möglichkeiten neue Lernszenarien ermöglicht. In (Apt et al. 2018, Brünninghaus und Deppe 2022) werden verschiedene AR-Systeme, die für das Training verwendet werden, verglichen. Die meisten der eingesetzten AR-Geräte arbeiten in einem Assistenzsystem, um den Auszubildenden Anweisungen, Hilfe und Unterstützung zu bieten. Die AR-Projektoren stellen in der Regel virtuelle Objekte und verschiedene Montageanleitungen zur Verfügung, die sich nach dem Kenntnisstand der Auszubildenden richten, um sie anzuleiten (Funk et al. 2017; Büttner et al. 2020).
4 Entwicklungsmethodik
Um eine erfolgreiche Umsetzung der AR-Einführung zu begünstigen, wurden die vorgestellten Projekte mit einem klaren Projektmanagement und geeigneten Instrumenten durchgeführt.
Zu Beginn wurde der jeweilige Stand der Technik erhoben und relevante Technologien, Soft- und Hardware sowie erprobte und neuartige Design-Prinzipien herausgearbeitet. Dieser umfassende Entwicklungsstand wurde daraufhin sondiert und geeignete Mittel wurden anwendungsfallspezifisch zusammengetragen.
Im zweiten Schritt ist eine Prozessanalyse der jeweiligen zu unterstützenden Anwendungen durchgeführt worden. Eine genaue Definition des zugrunde liegenden Betriebsprozesses ist Ziel dieses Schrittes gewesen. Anhand dieser Dokumentation wurde daraufhin im Rahmen des Requirements Engineerings (Ebert 2019). Anforderungen an die Unterstützung der einzelnen Prozessschritte festgelegt. Um eine adäquate, zielführende Unterstützung mit Hilfe von AR zu erreichen, wurde anschließend ein Brainstorming bzw. Matching zwischen den an die einzelnen Prozessschritte gekoppelten Anforderungen und den vorhandenen Technologien des Stands der Technik durchgeführt. Hierbei sind Ideen und Lösungsansätze entwickelt und abgewägt worden, mit Hilfe derer die Hilfestellung für die Mitarbeiter bestmöglich in den Prozess integriert werden kann. Diese Lösungsansätze bestehen aus einer Kombination verschiedener Komponenten, aus der eine AR-Anwendung bestehen kann. Unter anderem gehören hierzu Geräte mit unterschiedlichen Eingabemöglichkeiten (s. Kap. 2) und Sensoren, Interaktionsprinzipien zwischen Nutzer und Software, Art, Umfang und Darstellung der zu vermittelnden Informationen sowie Designprinzipien zur Nutzerführung und Bedienbarkeit der Software.
Nach der Planungsphase wurden die ausgewählten Lösungsmöglichkeiten in Zusammenarbeit der Projektbeteiligten in einem iterativen Entwicklungsprozess (Obendorf et al. 2010) umgesetzt. Abwechselnd wurden hier neue Komponenten und Prototypen erstellt und ihre Unterstützungsleistung anhand von verschiedenen Zielgrößen mit wiederholten Tests gemessen. So konnte nach mehreren dieser Iterations-Zyklen ein System entwickelt werden, welche die definierten Prozesse, bereits in einzelnen Funktionen nachweislich erprobt, zielführend unterstützen kann. Die frühzeitige Einbindung von Nutzertests (Usability Tests) sorgte hier dafür die für AR äußerst wichtige Nutzerakzeptanz und eine beherrschbare kognitive Auslastung der Nutzer sicherzustellen.
Im nachfolgenden Kapitel werden vier Projekte vorgestellt, welche sich mit konkreten Problemen aus der industriellen Praxis beschäftigen. Unter Zuhilfenahme verschiedener AR-Technologien wurden hier Lösungen für diese Probleme erarbeitet. Die Darstellung dieser Projekte soll dabei helfen, einen Transfer der Lösungen in verwandte Anwendungsgebiete oder auf ähnliche Herausforderungen zu ermöglichen. Ebenso soll eine zielorientierte Implementierung der Technologien in praxistauglicher Software und Anwendungen dargestellt und deren Nutzen aufgezeigt werden.
5 Use Cases
In diesem Kapitel werden Szenarien für AR-basierte Anwendungen dargestellt, die in aktuellen Projekten entwickelt wurden. Diese Anwendungen sollen beispielsweise aufzeigen, welche möglichen weiteren Anwendungsmöglichkeiten für AR existieren und welche Technologien eingesetzt wurden, um die Herausforderungen der jeweiligen Einsätze zu überwinden.
5.1 Projektor-basiertes Augmented Reality zur Fehlermarkierung von Bauteilen
Die Qualitätssicherung ist ein wichtiger Bestandteil heutiger Produktionsprozesse – insbesondere in Hochlohnländern. Doch oft steht für die Qualitätssicherung pro Bauteil nur wenig Zeit zur Verfügung. Ein effizienter Ablauf direkt am Bauteil ist daher essentiell. Zeigegesten eignen sich zwar hervorragend, um intuitiv und schnell den Fehlerort zu markieren, allerdings kann mit einer Zeigegeste allein nicht zwischen verschiedenen Fehlerarten unterschieden werden. Um weiterführende Informationen dokumentieren zu können, müssen weitere Kommunikationskanäle die Zeigegeste ergänzen. Daher bietet sich eine Markierung direkt am Bauteil mittels erweiterter Realität an, die durch das hier entwickelte System entsprechend umgesetzt wird. Zeit für Wege wird so vermieden und Fehlerschlupf auf ein Minimum reduziert.
Das System besteht aus einem Stereo-Kamera-System, einem Projektor und kann mittels Zeigegesten und Sprache bedient werden – optional auch mit einem Laserpointer mit integrierten Tasten. Bei der Qualitätsprüfung befindet sich das jeweilige Bauteil in einer dafür konstruierten Halterung und wird so optimal und präzise vom Kamerasystem erfasst (s. Abb. 1).
Abb. 1
Mit einem Projektor wird die Bedienführung auf das Bauteil projiziert. Fehler können per Zeigegeste und Spracheingabe oder mit einem Laserpointer dokumentiert werden. Die dokumentierten Fehler werden dreidimensional am digitalen Zwilling des Bauteils gespeichert
×
Das integrierte Kamerasystem dient dazu, den reflektierten Lichtpunkt des Laserpointers bzw. die Zeigegesten des Prüfers zu erkennen. Durch eine Triangulation des Laserpunktes oder der Fingerspitze wird die angezeigte Position im Raum errechnet, an der die Fehlermarkierung erfolgen soll. Das Kamerasystem und der Projektor sind zu einem globalen Koordinatensystem kalibriert. Die so angezeigte Position auf der Bauteiloberfläche wird in 3D-Koordinaten relativ zum Bauteilursprung umgerechnet. So erfolgt eine hochpräzise, millimetergenaue Angabe der Fehlerposition, die in einem digitalen Zwilling bzw. CAD-Modell des Bauteils gespeichert werden kann.
Durch den Projektor können auf der Bauteiloberfläche Anzeigeelemente zur detaillierten Auswahl von Fehlertyp, Fehlergrad usw. präzise an der ausgewählten Position dargestellt werden. Ebenfalls können die bereits gesetzten Fehlermarkierungen so angezeigt werden. Die Bedienung des aufprojizierten Menüs erfolgt mit den Tasten des Laserpointers oder mit Zeigegesten und Spracheingabe. Der Projektor dient als Alternative zum dauerhaften Tragen einer AR-Brille, die der Prüfer möglicherweise als unbequem, schwer und Sichtfeld-einschränkend empfindet. Die Anzeige in einer AR-Brille ist jedoch ebenso möglich und bietet den Vorteil, dass die Darstellung der Anzeigeelemente nicht vom Umgebungslicht und der Lackoberfläche des Bauteils beeinflusst wird.
Der Demonstrator wurde im Rahmen des Projekts „MuDa – Multimodaler DialogAssistent“ in einer Fördermaßnahme des Fraunhofer Cluster of Excellence Cognitive Internet Technologies (CCIT) entwickelt. Das Projekt hatte zum Ziel, Industrieprozesse effizienter und intuitiver zu gestalten. Als Beispielanwendung wurde die Fehlerdokumentation in der Qualitätssicherung ausgewählt. Im Demonstrator wurden zudem Technologien zur Spracherkennung des Fraunhofer IAIS integriert.
5.2 Augmented Reality-Bedienerführung in einer Modellfabrik
Für das Bundesamt für Sicherheit in der Informationstechnik (BSI) wurde mit Hilfe der Mixed Reality-Brille Microsoft HoloLens 2 eine AR-Anwendung zur Visualisierung und Steuerung einer Modellfabrik realisiert (s. Abb. 2). Im Gegensatz zu Virtual Reality bietet AR den Vorteil in der Echtwelt Informationen überlagert anzuzeigen. Die Erfassung der Hände und Finger des Nutzers, mit denen dieser in der virtuellen Welt über Klick-Gesten interagieren kann, wird dabei von der HoloLens 2 direkt geliefert.
Abb. 2
Die HoloLens erfasst Hand und Finger. Mit einer überlagerter Menüführung kann der Nutzer Informationen zu Komponenten in der Modellfabrik abrufen und Steuersignale absetzen
×
In der Modellfabrik wird ein vereinfachter Lackierprozess dargestellt, in welchem ein Werkstück in Form eines kleinen Zylinders mit Hilfe von Greifern und Förderbändern bewegt und ggf. aussortiert wird. Die Modellfabrik wurde mittels gängiger Automatisierungssysteme umgesetzt ist und ermöglicht die Erprobung und Erarbeitung von Best-Practices für den sicheren Betrieb sowie die Detektion von und Reaktion auf Sicherheitsvorfälle.
Jede Komponente wurde virtuell in der Anwendung mit Hilfe eines 3D-CAD-Modells an ihrer exakten 3D-Position angelegt und Informationen dazu hinterlegt (beispielsweise Name, Typ oder Funktion). Die Kalibrierung der HoloLens und der Modellfabrik erfolgte über zwei QR-Codes, zu welcher die exakte Position in Bezug zur Modellfabrik bekannt sind. Komponenten, mit denen eine Interaktion möglich ist, werden entsprechend farblich markiert und hervorgehoben. Zur Kommunikation mit der Modellfabrik wurde der offene Standard OPC UA genutzt, mit welchem über WLAN alle notwendigen Daten zwischen der Anwendung auf der Brille und der Modellfabrik ausgetauscht werden können. Hierüber können statische Informationen zu den einzelnen Fabrik-Komponente, beispielsweise der Name und die Funktion der Komponente, sowie Live-Daten (z. B. Temperaturdaten eines Umweltsensors) direkt an der Position der Komponenten auf der HoloLens dargestellt werden. Zusätzlich kann so auch die Modellfabrik gesteuert werden, indem beispielsweise der aktuelle Vorgang gestoppt wird, Positionen angelernt oder ein Auftrag angelegt werden kann. Der Netzwerkplan aller beteiligten Komponenten wurde digital hinterlegt und kann interaktiv auf die einzelnen Komponenten der Modellfabrik verweisen. Zu jedem Werkstück können Informationen zu der gewünschten Farbe, sowie die aktuelle Position auf den Förderbändern in der Anwendung angezeigt werden.
Der Demonstrator entstand im Rahmen des vom BSI geförderten Projekts „Projekt 369: Sicherheits- und Funktionsanalysen/Proof of Concepts für Industrie 4.0“. Zielsetzung des Projekts war es, das Bundesamt für Sicherheit in der Informationstechnik in die Lage zu versetzen, angemessene Sicherheitsvorgaben und Prüfvorschriften für Industrie 4.0 zu entwickeln und in einer Proof of Concept-Umgebung zu testen und zu evaluieren.
5.3 Projektionsbasierte Montageunterstützung mit visueller Fortschrittserkennung
Den Anforderungen hoch individualisierter Produkte und sich ständig ändernder Kundenwünsche können traditionelle Produktionslandschaften oft nicht nachkommen und werden durch agile, teilautomatisierte Produktionssysteme ersetzt. Ein Beispiel dieser Sublimation sind intelligent vernetzte Montageplätze.
Eine Schlüsselrolle bei diesen neuartig erprobten Systemen kommt der effizienten Verknüpfung maschineller und menschlicher Produktionsprozesse zu. Am Beispiel einer projektionsbasierten Montageunterstützung untersuchte das Fraunhofer IOSB in Zusammenarbeit mit Montagemitarbeitern in Abhängigkeit ihrer individuellen Fähigkeiten zielführend in den Produktionsprozess eingebunden und an welchen Stellen sie anhand von bestehenden Technologien gezielt unterstützt werden können. Die Nutzerakzeptanz steht dabei im Vordergrund und wird als wesentlicher Faktor für den Erfolg bei der praktischen Umsetzung angesehen. Durch die Verbindung realer Montagetätigkeiten mit Informationen aus der virtuellen Welt wird der Mitarbeiter sukzessive durch den Montageprozess begleitet und damit der Mensch stärker ins Blickfeld von Industrie 4.0 gerückt.
Um eine optimale Integration in die bestehende Produktionslandschaft zu gewährleisten, identifiziert das vorgestellte Assistenzsystem (s. Abb. 3) mittels Sensortechnik das jeweilige Werkstück und lädt den entsprechenden Arbeitsplan über eine Anbindung aus dem übergeordneten ERP-System. Um den Mitarbeiter auch während der produktiven Arbeit fortwährend zu schulen, kann das Assistenzsystem die relevanten Produktionsschritte des Montageprozesses mittels eines Kamerasystems verfolgen. Auf diese Weise lassen sich einzelne Montageschritte prüfen (z. B. das Greifen eines einzelnen Bauteils), mittels Gestenerkennung der Fortschritt des Produktionsprozesses intuitiv steuern und schließlich die korrekte Montage sukzessiv sicherstellen. Dazu arbeitet das Kamerasystem mit dem Structured-Light-Prinzip und projiziert ein Infrarot-Punktmuster in den Raum. Die reflektierten Infrarotstrahlen werden anschließend durch eine Infrarot-Kamera empfangen und mittels Triangulationsverfahren zu einem Tiefenbild der Szene zusammengefügt. Auf diese Weise kann der gesamte Montagebereich erkannt und Produktionsschritte verfolgt werden.
Abb. 3
Ein Montageplatz mit zentralem Bildschirm im mittleren Bereich und Projektor sowie Tiefenkamera für die AR-unterstützung angebracht im oberen Bereich
×
Darüber hinaus bietet das interaktive Montagesystem weitere Möglichkeiten zur individuellen Unterstützung der Produktion. Neben einem integrierten Multi-Touch-Screen und Pick-to-Light-Modulen können visuelle Hilfestellungen in Form von Text, Grafik oder Videosequenzen durch Projektionen direkt auf dem Montagearbeitsplatz abgebildet werden. In Verbindung mit der Gestenerkennung durch das Tiefenkamerasystem lässt sich das Assistenzsystem zusätzlich durch Touch-Erkennung („Smart Surface“) auch in industriellen Umgebungen sicher und intuitiv steuern. Zur nachhaltigen Qualitätssicherung bestehen zudem weitere Schnittstellen zu Positionserkennungs- oder Schraubdatenerkennungs-Systemen, wodurch sich Werkzeugprozesse (z. B. Position eines Schraubersystems) gezielt erkennen und steuern lassen. Zur konsequenten Produktrückverfolgbarkeit können sämtlich Produktionsparameter (z. B. verwendete Komponenten, Montageschritte, Montagedauer etc.) ergänzend durch das Assistenzsystem erfasst und mittels RFID direkt am produzierten Bauteil gespeichert werden.
Das hier vorgestellte System wurde in Zusammenarbeit mit der Bosch Rexroth AG im Rahmen mehrerer gemeinsamer Projekte entwickelt. Bei der kontinuierlichen Weiterentwicklung dieses Werkerassistenzsystems lag der Fokus insbesondere darauf, die Entwicklung und Integration der kamerabasierten Systeme und offenen Integrationslösungen für Subsysteme voranzutreiben. Ziel hierbei war es, eine Softwareplattform zu schaffen, die es erlaubt unterschiedliche Technologien für die Werkerassistenz einfach anbinden und damit interagieren zu können. Beispiele für diese Technologien sind Hard- und Softwaresysteme zur Verortung von Greifpositionen und Greifbewegungen als auch die Integration von Sensorsystemen (Pick-to-Light-Module und Ultraschallsysteme).
5.4 Tablet-basierte Instandhaltungsunterstützung für wenig bis ungeschulte Mitarbeiter
Auf globalen Märkten operierende Unternehmen sehen sich oft logistischen Herausforderungen gegenübergestellt. Unter anderem im Anlagenbau stellt sich über den gesamten Produktlebenszyklus hinweg die Frage, wie eine effiziente Bereitstellung der notwendigen Services, wie z. B. initiale Installation, Instandhaltungsmaßnahmen bis hin zur abschließenden Demontage, erzielt werden kann.
Dieser Fragestellung hat sich die TH OWL zusammen mit der Herbert Kannegiesser GmbH in einem gemeinsamen Forschungsprojekt gewidmet.
Zum Zweck der effektiven und gleichzeitig kostengünstigen Wartung an komplexen Maschinen wurde ein mobiles Assistenzsystem zur Unterstützung untrainierter Arbeitskräfte bei einfachen Instandhaltungsmaßnahmen am Beispiel einer industriellen Anlage entwickelt. Die in diesem Fall betrachtete Handtuchfaltanlage ist vom Typ Kannegiesser XFM VARIO 20. Mit ihrem Einsatz in industriellen Wäschereien oder z. B. auf Kreuzfahrtschiffen faltet sie Handtücher pneumatisch über Längs- und Querachse und stapelt diese anschließend mittels Förderbänder auf verschiedene Ablagen.
Für die Unterstützung der Mitarbeiter werden AR-fähige Tablets benutzt, die reale Teile der betrachteten Maschine mit virtuellen Inhalten anreichern. Diese Inhalte können verschiedene Prozessansichten, Aktivitäten oder Sensordaten in Echtzeit sein. Zusätzlich zur reinen Anzeige erlaubt der Touchscreen des Tablets auch eine Interaktion mit den virtuellen Objekten. Auf diese Weise kann der nur minimal instruierte Mitarbeiter relevante Informationen des automatisierten Systems ohne die Anwesenheit eines Experten selbstständig abrufen. Dies birgt den Vorteil, dass lediglich ein entsprechendes AS anstelle eines ausgebildeten und geschulten Technikers am Produktionsort vorhanden sein muss und eine entsprechende Wartung zumindest rudimentär, ad-hoc und ohne weiteren logistischen Aufwand durchgeführt werden kann.
Zur Realisierung des Assistenzsystems (s. Abb. 4) ist ein AR-Tablet in Verbindung mit einem Mini-Computer und einem Router verwendet worden. Der Netzwerk-Router spannt ein Drahtlos-Netzwerk auf, über welches sich Tablet und Mini-Computer miteinander verbinden können. Der Mini-Computer greift auf der einen Seite auf Sensordaten und generelle Informationen der Maschine mittels OPC UA zu und auf der anderen Seite stellt er einen Server zur Verfügung über den das Tablet verschiedene Daten abrufen kann. Diese Daten umfassen Mediendateien, wie z. B. Bilder, Positionsdaten zur Verortung der virtuellen Objekte im dreidimensionalen Raum und Trainingsdaten für das AS. Das Tablet greift über den Router auf die vom Server bereitgestellten Daten zu und kann diese über die implementierte AR-Software darstellen. Für die Darstellung werden hierbei vier verschiedene Modi Exploration, Geführte Tour, Anleitung und Machine Vision bereitgestellt, welche unterschiedliche Assistenzfunktionen fokussieren.
Abb. 4
Im explorativen Modus (links) werden in der AR-Ansicht der Tabletanwendung Schaltflächen mit Zusatzinformationen angezeigt. Im Anleitungsmodus (rechts) wird der Nutzer Schritt für Schritt durch wiederkehrende Tätigkeiten geführt
×
Der explorative Modus beinhaltet virtuelle Schaltflächen entlang der Maschine, welche dem Benutzer erlauben semantisch sinnvoll platzierte Informationen über die Maschine per Fingertipp abzurufen.
Die geführte Tour ist eine interaktive Schritt für Schritt-Anleitung, welche den Nutzer durch die einzelnen Bestandteile und Abläufe des Falt- und Stapelprozesses führt. Textuelle Beschreibungen, virtuelle Referenzen in Form von Bildern, Pfeilen und Positionsmarkern sowie Animationen helfen dem Nutzer die Funktionsweise zu verstehen.
Der Anleitungsmodus beherbergt verschiedene Anleitungen, die den Nutzer bei wiederkehrenden Tätigkeiten, wie z. B. Wartungen, Reinigungen oder Anpassen von Maschinenparametern, unterstützen.
Die Machine Vision ist eine Echtzeitansicht der Maschinensensorik. Mit unterschiedlichen Farben werden hier die aktiven und inaktiven Sensoren an der Anlage gekennzeichnet. So kann der Nutzer der Faltprozess analysieren und eventuelle Fehler an der Sensorik zurückverfolgen.
Die Qualität der Assistenz hängt in diesem Szenario sowohl von den hinterlegten Inhalten als auch ihrer korrekten Darstellung (Positionierung) ab, damit die richtigen Informationen an der richtigen Stelle verfügbar sind. Die eingesetzte Trackingtechnologie, um die Positionierung der virtuellen Elemente in Relation zur Maschinenposition zuverlässig vorzunehmen, basiert auf einem vorgelagerten Abbildungsprozess der Umgebung der Maschine und einem QR-Code, welcher an der Vorderseite der Maschine angebracht ist und via Tablet gescannt werden kann. Dieser QR-Code wird dazu genutzt einen globalen Bezugspunkt für sämtlichen AR-Inhalt zu generieren und eine Positionierung sicher und stabil zu gewährleisten (Heinz et al. 2019).
6 Fazit und Ausblick
Im Zuge dieses Beitrags wurden einige marktgängige, prototypische und in Entwicklung befindliche Anwendungen im Bereich AR in den jeweiligen Domänen der Produktionslandschaft aufgezeigt. Neben verwandten Lösungen in der produzierenden Industrie wurden hier Verwendungsmöglichkeiten mit Mehrwert in den Bereichen Qualitätskontrolle als Projektor-basiertes AR zur Fehlermarkierung von Bauteilen, Oberflächenbehandlung unter Zuhilfenahme einer AR-Brille für die Visualisierung lackierrelevanter Messwerte, Montage als Arbeitsplatz mit visueller Fortschrittsanzeige per Projektion und im Bereich der Instandhaltung mit AR-Tablets zur Darstellung anlagenspezifischer Parameter und Prozessdaten. In jedem dieser Einsätze sind verschiedene Technologien zur Anwendung gekommen, um die erforderliche Assistenz zur Verfügung zu stellen. AR ist folglich durchaus als Technologieansatz dazu fähig, Produktionssysteme in den verschiedenen Zielgrößen Qualität, Kosten und Zeit zu unterstützen. Anhand der Heterogenität der vorgestellten Lösung ist allerdings festzustellen, dass AR keine allumfassende Standardlösung bietet. Es ist stets entsprechend der vorliegenden Gegebenheiten und der gewünschten Prozessverbesserungen zu entscheiden, welche Technologie die nötigen Hilfestellungen leisten kann und wie sie am effektivsten implementiert wird.
Die hier aufgezeigten Implementierungen von AR-Assistenz liefern einen Eindruck davon, welche Technologien und Interaktionsprinzipien für bestimmte Einsatzbereiche in der industriellen Praxis zielführend sind. Ebenfalls sollen die diskutierten Projekte dazu dienen, darzustellen, welche theoretisch möglichen Interaktionsmöglichkeiten und damit einhergehende Prozessunterstützungen mit Hilfe von AR für heterogene Szenarien zielführend sind und welche theoretischen Möglichkeiten in der Praxisanwendung eher untauglich sind. Insbesondere der Kreativprozess beim Matching der bestehenden AR-Technologien und konkreten Prozessanforderungen trägt dazu bei neue Lösungswege zu ergründen, die so zuvor noch nicht existierten und den beteiligten Entwicklungspartnern neue Perspektiven auf das bestehende Problem zu ermöglich, also die sog. „Betriebsblindheit“ zu verringern.
Obwohl in diesem Beitrag bereits verschiedene Anwendungsszenarien vorgestellt wurden, existieren weitere Applikationsmöglichkeiten und unternehmerische Prozesse, welche mit Hilfe von AR unterstützt werden können. Zum Beispiel im Bereich der technischen Ausbildung oder auch in Verwaltungsprozessen ist es möglich, die Mitarbeiter zu unterstützen. Für zukünftige Arbeiten ist es also denkbar in weitere Bereiche der Industrie und Wirtschaft mit diesem Ansatz vorzudringen. Zusätzlich verbessert sich die eingesetzte Hardware vor allem im Bereich Ein- und Ausgabegeräte sowie Sensorik stetig, sodass sich der Stand der Technik schnell verändert und immer neue Anwendungen auf dem Gebiet der AR entstehen, deren Einsatzmöglichkeiten und Einfluss auf betriebliche Prozesse bei der Unterstützung von Mitarbeitern weitergehend analysiert werden muss, um die Potenziale neuer Technologien nutzbar zu machen.
Open Access Dieser Artikel wird unter der Creative Commons Namensnennung 4.0 International Lizenz veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Artikel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
HMD liefert IT-Fach- und Führungskräften Lösungsideen für ihre Probleme, zeigt ihnen Umsetzungsmöglichkeiten auf und informiert sie über Neues in der Wirtschaftsinformatik (WI).
