Automatische Programmierung von Produktionsmaschinen

Ein wichtiges Ziel des Einsatzes von ML-Methoden in der Produktion war immer die Entwicklung von intelligenten, autonomen Systemen. Darüber hinaus versprechen ML-Methoden großes Potenzial in der gesamten Wertschöpfungskette – von der Produktentstehung, über die Produktionsplanung, bis hin zur Qualitätskontrolle, der automatischen Wartung und dem Vertrieb. Unternehmen erhoffen sich eine gesteigerte Produktqualität, bei größerer Flexibilität, niedrigeren Kosten und eine Reduktion des Energieverbrauchs beziehungsweise der Umweltbelastung. Zu diesen Zwecken werden ML-Techniken in der Industrie bereits erfolgreich eingesetzt (accenture 2017; Kober et al. 2013; Spinnarke 2017).

Allerdings gibt es einige typische Hürden, die einem erfolgreichen Produktiveinsatz von ML-Techniken häufig im Wege stehen. Neben mangelnder Datenmenge und -qualität, ist hier insbesondere auch die fehlende Zuverlässigkeit von ML-Methoden zu nennen. Darauf wird in den folgenden Abschnitten weiter eingegangen.

Zur Programmierung und Steuerung von Produktionsmaschinen wird viel an ML-Methoden geforscht. Ein besonderes Interesse kommt hierbei dem sogenannten Reinforcement Learning (RL) zu.

Das Reinforcement Learning („Verstärkendes Lernen“) ist ein allgemeines Lernparadigma. Das Paradigma besteht aus einem Akteur, seinem Umfeld, seinen Handlungsmöglichkeiten und einer Belohnung für seine Handlungen (siehe Abb. 2). Der Akteur befindet sich in einem gewissen Umfeld. Er hat die Möglichkeit, Handlungen auszuführen – also etwas zu tun. Die Handlungen, für die der Akteur sich entscheidet, haben Auswirkungen auf das Umfeld und abhängig von der Handlung verändert sich das Umfeld. Der Akteur erhält nun von seinem Umfeld beziehungsweise durch die Auswirkungen seiner Handlungen eine sogenannte Belohnung, die einen Anreiz darstellt, etwas in Zukunft wieder zu tun oder es zu unterlassen. Anschließend hat der Akteur die Möglichkeit, die Auswirkungen seiner Handlung auf die Umwelt zu beobachten, unter Einbeziehung der Belohnung eine neue Handlung auszuwählen und diese auszuführen. Diesen Vorgang von einer Umfeldveränderung zur nächsten bezeichnet man als einen (Zeit-)Schritt des Lernparadigmas.

Daraufhin wiederholt sich der ganze Schritt immer wieder, bis das Lernen gestoppt wird. Das Ziel des Akteurs ist es, durch seine Handlungen die Belohnungen, die er von seinem Umfeld erhält, zu maximieren. Er möchte also maximal viele Belohnungen erhalten. Die Belohnungsfunktion wird vom Entwickler festgelegt und enthält Informationen über die zu lernende Aufgabe. Der Lernalgorithmus hat das Ziel, die Ausführung der durch die Belohnungsfunktion kodierten Aufgabe optimal zu lernen (Sutton und Barto 2018).

Dieses allgemeine Paradigma erlaubt die Modellierung einer Vielzahl von Situationen (Sutton und Barto 2018). Ein Beispiel ist die Produktionsplanung einer Anlage zur Halbleiterfertigung durch einen ML-Algorithmus.

In den vergangenen Jahren wurden moderne ML-Techniken, wie etwa tiefe neuronale Netze, sehr erfolgreich als der lernende ML-Algorithmus in diesem Lernparadigma eingesetzt. So kann das neuronale Netz zum Beispiel direkt lernen, welche Handlung in welcher Situation ausgeführt werden soll (ein sogenannter modellfreier Algorithmus). Alternativ kann das Netz aber auch zum Einlernen eines Umfeldmodells und anschließend zur Planung der Handlungen verwendet werden (ein sogenannter modellbasierter Ansatz). Insbesondere wird viel daran geforscht, RL zur Steuerung von Produktionsmaschinen und anderen automatisierten Systemen zu verwenden. In speziellen Fragestellungen wurde RL dafür auch bereits erfolgreich eingesetzt. Dies beinhaltet zum Beispiel den Griff in die Kiste und das anschließende Werfen eines Objektes in eine andere Kiste, das Sortieren von Objekten im Produktiveinsatz, die Optimierung von Produktionsplanung, das Einfügen eines festen Stifts in ein deformierbares Loch und das Zusammenfügen von Steckverbindungen. Auch wenn dies hochkomplexe Probleme sind, sind es Spezialaufgaben in einem jeweils sehr genau kontrollierten Setting und keine kompletten Produktionsprozesse (Waschneck et al. 2018; Xanthopoulos et al. 2018; Zeng et al. 2019; covariant.ai 2020; Luo et al. 2018; Schoettler et al. 2019).

Neben der bisher noch fehlenden angewandten Forschung in diesem Bereich weisen Reinforcement-Learning-Algorithmen in der realen Welt typischerweise einige Nachteile auf, die es noch zu überwinden gilt. Die erste Hürde ist die geringe Dateneffizienz beziehungsweise die große Menge an benötigten Trainingsdaten. Insbesondere die häufig verwendeten modellfreien RL-Algorithmen benötigen typischerweise Millionen von Trainingspunkten, bis sie ihre endgültige Leistungsfähigkeit erreichen. Diese Datenmengen lassen sich mit dem Training auf realen Systemen – also ohne die Verwendung von Simulationen – nur schwer erzeugen. Limitierende Faktoren sind hierbei insbesondere die Voraussetzung einer großen Menge an parallelen Aufbauten, der hohe Zeitaufwand und der Verschleiß der Hardware (Irpan 2020; Hessel et al. 2017; Kober et al. 2013; Mahmood et al. 2018).

Aus diesem Grund sind hochqualitative Simulationen zum Training der Algorithmen erforderlich. Diese haben den Vorteil, dass die ML-Algorithmen kostengünstig und effizient trainiert werden können, aber auch die hohe Flexibilität, die die Verwendung einer Simulationsumgebung bietet. So können die ML-Algorithmen unabhängig von der realen Hardware trainiert werden. Das heißt zum einen ohne Produktionsstillstand zum Training der ML-Algorithmen und zum anderen, dass die simulierte Trainingsumgebung flexibel verändert und an neue Produkte angepasst werden kann, ohne dass Änderungen an der realen Hardware nötig sind. Allerdings ist es nicht möglich, alle auftretenden relevanten physikalischen Prozesse während eines komplexen Vorgangs korrekt zu modellieren – dies beinhaltet zum Beispiel den Einfluss der Temperatur, den Verschleiß der Produktionsmaschinenteile oder Verformungen der Werkstücke. Aus diesem Grund bildet die Simulation die Realität nie genau ab, weswegen es bei dem Transfer von in der Simulation gelernten ML-Steuerungsalgorithmen auf reale Hardware zu einem Leistungsabfall kommt. Moderne Techniken wie Domain-Randomisierung können dem aber effizient entgegenwirken (Chebotar et al. 2019; Peng et al. 2018; Tobin et al. 2017).

Ein weiteres Problem ist, dass die ML-Algorithmen häufig zufällig initialisiert werden, das heißt, dass sie anfangs zufällig handeln und von Grund auf lernen, die Aufgabe auszuführen. Durch die zufällige Initialisierung ist das Lernen allerdings nicht zielgerichtet, sondern basiert auf der zufälligen Annäherung an die korrekte Ausführung. Dies führt gerade zu Beginn des Trainings auf realer Hardware zu einem hohen Verschleiß. Dem kann aber mit der Verwendung von Simulationsumgebungen entgegengewirkt werden. Darüber hinaus steigert diese Art der Initialisierung die benötigten Datenmengen, da der Algorithmus alles von Grund auf lernen muss. Leider ist es insbesondere bei den häufig verwendeten modellfreien Algorithmen nicht möglich, effektiv Vorwissen einzubringen oder bereits gelerntes Wissen auf ähnliche Probleme zu übertragen, was diesem Problem entgegenwirken könnte (Polydoros und Nalpantidis 2017; Mahmood et al. 2018; Schulman et al. 2015).

Schlussendlich sind die nach Abschluss des Trainings erhaltenen ML-Steuerungsalgorithmen häufig instabil gegenüber kleinen Änderungen des Umfelds, weisen eine nicht ausreichende Erfolgsrate auf, und der Transfer auf ähnliche, aber noch nicht gesehene Aufgaben ist nicht ausreichend. Dies kann dazu führen, dass eine kleine Veränderung des Umfelds (wie zum Beispiel eine veränderte Startposition des Roboterarms) dazu führt, dass der Algorithmus die Aufgabe nicht korrekt ausführen kann. Häufig müssen bestimmte Algorithmen zur Erledigung einer weiteren ähnlichen Aufgabe komplett neu trainiert werden, da bereits gelerntes Wissen nicht effektiv genutzt werden kann.

Vielversprechende Lösungsansätze für die geringe Dateneffizienz, die nicht effektive Verwendung von vorhandenem Vorwissen und die geringe Verallgemeinerung der gelernten Algorithmen liegen in der Verwendung von modellbasierten RL-Algorithmen. Hierbei lernt der Algorithmus ein Modell seines Umfelds und kann damit seine Handlungen planen. Man kann sich zum Beispiel vorstellen, was passieren würde, wenn man sein Smartphone fallen lässt und beschließen, dies deswegen lieber zu vermeiden, ohne es wirklich ausprobieren zu müssen. Die Verwendung eines Modells erlaubt es dem Algorithmus also, die Auswirkungen von Handlungen abzuschätzen, ohne diese ausprobieren zu müssen (insofern das Modell gut genug ist), wodurch der Algorithmus zielgerichtet mit deutlich weniger Daten die korrekte Ausführung lernt. Darüber hinaus erlaubt die Verwendung eines Modells das Einbringen von Vorwissen („Die Firma weiß schon, was gemacht werden soll und wie das geht, nur der Roboter noch nicht.“) und den Transfer von bereits gelerntem Wissen auf ähnliche Aufgaben. Moderne modellbasierte ML-Algorithmen weisen auch keinen Leistungsnachteil gegenüber modellfreien ML-Algorithmen mehr auf (Polydoros und Nalpantidis 2017; Ha und Schmidhuber 2018).

Weitere Ansätze, den Transfer auf ähnliche Aufgaben zu verbessern, sind das sogenannte Transfer- und Metalernen. Beim Transferlernen wird dem ML-Algorithmus eine Vielzahl von ähnlichen, aber unterschiedlichen Aufgaben gestellt. Der Algorithmus hat das Ziel, alle Aufgaben gut zu erfüllen. Beim Metalernen hat der Algorithmus das Ziel, Lernen zu lernen. Durch beide Techniken werden die Algorithmen robuster gegenüber kleineren Änderungen und lernen, sich sehr schnell an neue Aufgaben anzupassen, sodass sie flexibler eingesetzt werden können (Tan et al. 2018; Hausman et al. 2018; Duan et al. 2016; Finn et al. 2017).

An letzter Stelle seien hier noch hierarchische Lernalgorithmen genannt. Diese Klasse von ML-Algorithmen setzt sich aus mehreren Ebenen zusammen. Zum Beispiel kann es eine Ebene geben, die bestimmte Skills – wie zum Beispiel das Verdrehen von Bauteilen, das Einfügen in Schnappverbindungen oder das Greifen von Bauteilen lernt. Dann gibt es weitere Ebenen, die diese Skills kombinieren und so selbst komplexe Aufgaben durchführen können. Dieser Ansatz hat den Vorteil, dass skillspezifische Informationen gekapselt und unabhängig voneinander gelernt werden können. Das steigert die Dateneffizienz, da die Skills nur einmal gelernt werden müssen und dann für neue Aufgaben eingesetzt werden können. Dafür muss lediglich die „Kombinationsebene“ lernen, die neue Aufgabe durch Kombination der bekannten Skills auszuführen (Nachum et al. 2018; Vezhnevets et al. 2017; Florensa et al. 2017).

In Summe wirken die in den letzten Jahren stark weiterentwickelten Ansätze den skizzierten Limitierungen des einfachen RL entgegen.

Das Interesse an zuverlässigen ML-Methoden ist in den letzten Jahren stark gestiegen. Die Zuverlässigkeit von ML-Algorithmen meint in diesem Kontext Anforderungen an die Erklärbarkeit, die Verifizierbarkeit und die Risikoabschätzung, die bei klassischen modernen Methoden wie tiefen neuronalen Netzen wenig bis gar nicht erfüllt sind. Insbesondere aber in sicherheitskritischen Anwendungsgebieten wie dem autonomem Fahren oder der Mensch-Roboter-Kooperation sowie in regulatorisch komplexen Anwendungsfällen – zum Beispiel aufgrund von Datenschutzbestimmungen – sind diese unabdingbar: Man stelle sich ein autonomes Auto vor, von dem niemand weiß, wie es eigentlich funktioniert, bekannt ist nur, dass es bei allen Tests erfolgreich abgeschlossen hat. Wirklich sicher wird man sich in diesem Auto nicht fühlen. Das beschreibt die Problematik der fehlenden Erklärbarkeit ganz gut (Wachter et al. 2017; Huang et al. 2017; McAllister et al. 2017).

Zunächst benötigen ML-Algorithmen eine Möglichkeit, Unsicherheiten abzuschätzen. Das ist bei klassischen tiefen neuronalen Netzen nicht möglich. Das heißt, ein neuronales Netz weiß nicht, wenn es etwas nicht weiß. Es trifft mitunter falsche Vorhersagen, obwohl die ausgegebene Konfidenz sehr hoch ist. Abhilfe können hier sogenannte Bayes’sche neuronale Netze schaffen. Diese ermöglichen die Berechnung einer echten Unsicherheit in Form von Wahrscheinlichkeiten, die zum Erkennen von unvorhergesehenen oder gefährlichen Situationen eingesetzt werden kann. Im Falle einer hohen Unsicherheit könnte ein System zum Beispiel stoppen oder einen menschlichen Aufseher herbeirufen.

Aktuelle Ansätze Bayes’scher neuronaler Netze erfordern allerdings mehr Rechenleistung als vergleichbare normale neuronale Netze. Zudem gibt es häufig keine hochqualitativen frei verfügbaren Implementierungen (Maddox et al. 2019; Wang und Yeung 2016; Izmailov et al. 2019; Blundell et al. 2015; Wu et al. 2018).

Zusätzlich müssen ML-Algorithmen für viele Anwendungsfälle erklärbar sein. Fast alle modernen ML-Methoden, wie auch tiefe neuronale Netze, sind eine sogenannte Blackbox. Das heißt, dass die innere Funktionsweise und Logik der Algorithmen nach Abschluss des Trainings nicht mehr nachvollzogen werden kann. Erklärbare ML-Verfahren haben hingegen das Ziel, die Funktionsweise nachvollziehbar zu machen. Dies hat den Vorteil, dass man das Risiko eines Einsatzes besser nachvollziehen kann, dass sich die Akzeptanz bei den Mitarbeitern, die von diesen Modellen unterstützt werden, erhöht, und dass Fehler sowie eventuelle Vorurteile der ML-Methoden erkannt werden können. Dies kann zum Beispiel durch die Approximation komplexer Modelle mittels verständlicher Modelle oder durch spieltheoretische Überlegungen ermöglicht werden (Schaaf et al. 2019; Lundberg und Lee 2017).

Im Kontext von KI-Anwendungen ist die Erklärbarkeit zugleich das zentrale Konzept für die digitale Souveränität auf Ebene der Mitarbeitenden. Erklärbarkeit schafft für den Menschen die Voraussetzung, das KI-System soweit näherungsweise zu verstehen, dass er es reflektiert und zielgerichtet im Rahmen seiner Handlungen – basierend auf vorhandenem Wissen und Fähigkeiten – einsetzen kann. Weiterhin eröffnen erklärbare KI-Systeme für die Nutzenden die Chance, über das System und auch über die von System abgebildete Realität (zum Beispiel Produktionsanlagen, Werkstücke) zu lernen und somit die eigene Fähigkeits- und Wissensbasis zu erweitern.

Obwohl in den letzten Jahren viel in diesem Bereich geforscht wurde und das Interesse an erklärbaren ML-Verfahren, sogenannte erklärbare KI, in den letzten Jahren stark gestiegen ist, sind noch zahlreiche Forschungsfragen offen (siehe Abb. 3). Unter anderem gibt es noch keinen standardisierten Prozess, bei dem die Vergleichbarkeit von Erklärungen, über spezielle Anwendungsfälle hinaus, gegeben ist. Zusätzlich beziehen Erklärungen sich meist auf einzelne Datenpunkte und nicht auf die globale Funktionsweise der Methoden (Ribeiro et al. 2016; Bach et al. 2015; Lundberg und Lee 2017; Wachter et al. 2017).

Schlussendlich ist es bei tiefen neuronalen Netzen nicht möglich, die korrekte Funktionsweise zu verifizieren. Konkret heißt dies, dass man die neuronalen Netze zwar auf sehr vielen Datenpunkten testen kann, aber es nicht möglich ist, sicherzustellen, dass sie in nicht getesteten Situationen auch funktionieren. Darüber hinaus ist es nicht möglich, eine bestimmte Erfolgsrate zu garantieren. Erste Ansätze, diese Probleme zu lösen, versuchen die korrekte Funktionsweise mathematisch zu garantieren und so zum Beispiel eine Sicherheitsgarantie zu liefern. Dies ist mit dem heutigen Stand der Technik für kleine neuronale Netze bereits möglich. Allerdings ist noch zu klären, wie genau die Anforderungen erfasst werden können und wie größere und komplexere ML-Methoden effizient überprüft werden können (Katz et al. 2017; Katz et al. 2019; Huang et al. 2017).