Die Nutzung von ChatGPT in Unternehmen: Ein Fallbeispiel zur Neugestaltung von Serviceprozessen

Abgesehen von der Modellarchitektur teilen LLMs grundlegende Gemeinsamkeiten in ihrer Funktionsweise. Im Wesentlichen handelt es sich um Systeme, die die Wahrscheinlichkeiten von Wortsequenzen in Texten berechnen. Die Wortsequenzen können dabei sowohl kurze Sätze als auch längere Textabschnitte umfassen (Li 2022). Solche Systeme können sowohl zur Klassifikation (vgl. Xu et al. 2020, Choudrie et al. 2021) als auch zur Generierung (vgl. Bubeck et al. 2023; Luo et al. 2021) von natürlicher Sprache eingesetzt werden. Bei der Klassifikation gibt das Sprachmodell eine Wahrscheinlichkeit für jede der zuvor festgelegten Klassen aus (vgl. Sun et al. 2019). Ein anschauliches Beispiel für die Klassifizierung ist die automatische Unterscheidung von E‑Mails in die Klassen „Spam“ und „kein Spam“. Bei der Generierung von natürlicher Sprache sagen Sprachmodelle das nächste Wort einer Sequenz vorher, indem sie für jedes mögliche Wort der vorgegebenen Sprache eine Wahrscheinlichkeit berechnen (vgl. Vaswani et al. 2017). Während ältere Ansätze auf rein statistischen Verfahren basieren (vgl. Nestor und Gonzalez-Abascal 1997), legen neuere Ansätze neuronale Netzwerke zugrunde (vgl. Bengio et al. 2003; Graves 2014). Aufbauend auf neuronalen Netzwerken entwickelten Vaswani et al. (2017) die bereits erwähnte Transformer-Architektur. Diese stellt dabei einen Paradigmenwechsel dar: Sie verwendet sogenannte Attention-Mechanismen, um zu bestimmen, welche Teile eines Textes in einem gegebenen Moment relevant sind und ermöglicht so ein tiefgreifenderes Verständnis des Kontextes – sprich der umgebenden Wörter und ihrer Bedeutungszusammenhänge. Dies führt dazu, dass LLMs nicht nur Wortsequenzen auf Basis statistischer Häufigkeit generieren, sondern auch die semantischen Beziehungen zwischen den Wörtern erfassen und interpretieren können, wodurch Texte entstehen, die kohärenter und inhaltlich nuancierter sind (Bouschery et al. 2023).

Wie der Begriff „Large Language Models“ bereits andeutet, zeichnen sich diese Modelle durch ihre enorme Größe aus, die sich aus drei maßgeblichen Faktoren ergibt (Kaplan et al. 2020):

Überraschenderweise führt die Vergrößerung von LLMs nicht nur zu einer linearen Verbesserung ihrer bestehenden Fähigkeiten, sondern bringt zudem unerwartete neue Fähigkeiten hervor (Wei et al. 2022). Das heißt, obwohl sie nicht explizit dazu trainiert wurden, entwickeln sie zunächst Kompetenzen in Textklassifikation, dann in mehrstufiger Argumentation und schließlich in semantischem Textverständnis (Wei et al. 2022). Die fortschrittlichsten LLMs – wie z. B. GPT-4 – zeigen bereits Fähigkeiten, die Bubeck et al. (2023) als erste Anzeichen von einer allgemeinen künstlichen Intelligenz bezeichnen. Dazu zählen mentale Fähigkeiten wie Kreativität, Argumentation und Deduktion, aber auch ihre Expertise in Bereichen wie Literatur, Medizin und Programmierung sowie die Fähigkeit, Werkzeuge zu verwenden und sich selbst zu erklären (Wei et al. 2022).

Wohlgemerkt sind all diese Fähigkeiten in einem einzigen Modell enthalten, ohne dass dieses Modell für eine der Aufgaben spezialisiert werden muss. Erreicht wird diese Generalität durch ein sogenanntes self-supervised pre-training. Dabei lernt das Modell eigenständig – d. h. ohne menschliche Vorgaben – die zugrunde liegenden Strukturen und Muster innerhalb eines riesigen Datensatzes (Li 2022). Übliche Trainingsdatensätze sind hunderte bis tausende Gigabyte groß und enthalten unter anderem Bücher, Code, Webseiten, wissenschaftliche Artikel und Daten aus sozialen Netzwerken (Zhao et al. 2023).

Auf diese Weise trainierte Modelle werden auch als Foundation Models bezeichnet (vgl. Bommasani et al. 2021). Obwohl solche Modelle bereits viele Probleme ohne weitere Spezialisierung lösen können, kann es für bestimmte Aufgaben notwendig sein, ein weiteres Training durchzuführen. Für diesen als fine-tuning bezeichneten Prozess wird das mittels self-supervised pre-training vortrainierte Foundation Model mit Hilfe eines typischerweise kleineren und von Menschen gelabelten Datensatzes an ein bestimmtes Problem angepasst (Li 2022).

Gerade für die Integration in Unternehmensprozesse kann es notwendig sein, das LLM mit den proprietären Daten des Unternehmens anzureichern und ihm regelmäßig neue Informationen bereitzustellen. Neben dem fine-tuning werden hierfür in der Praxis vor allem Vektordatenbanken genutzt (bspw. Pinecone¹ und Milvus²; vgl. Lu et al. 2023; Bryan 2023). Im Gegensatz zum fine-tuning werden mit Vektordatenbanken keine neuen Informationen in das LLM eintrainiert, sondern lediglich bei Bedarf bereitgestellt. Dazu enthalten Vektordatenbanken neben den gespeicherten Dokumenten (z. B. PDFs) jeweils einen Vektor, der die Bedeutung und den Inhalt des Dokuments in einem abstrakten mathematischen Vektorraum repräsentiert. Zur Berechnung dieser Vektoren werden vortrainierte KI-Modelle verwendet, sogenannte Embedding Models, die sowohl Open Source als auch von namhaften Herstellern wie Google oder OpenAI verfügbar sind.

Mit der zunehmenden Intelligenz von LLMs und deren verstärkten Integration in Unternehmensprozesse gewinnt die Auseinandersetzung mit den damit verbundenen Problemen an Bedeutung. Eine Herausforderung sticht dabei besonders hervor: LLMs können ohne Vorwarnung Fehler erzeugen. Dazu zählen mathematische, logische und konzeptionelle Fehler, aber auch schlichtweg inkorrekte Aussagen. Diese Art von Fehlern wird als Halluzinationen bezeichnet, da sie dazu neigen, vernünftig zu erscheinen und logischen Schlussfolgerungen zu entsprechen. Häufig sind sie zusätzlich zwischen korrekten Informationen versteckt und werden überzeugend sowie selbstbewusst präsentiert (Bubeck et al. 2023).

Neben Halluzinationen ist Bias eines der derzeit schwerwiegendsten Probleme von LLMs. Ein Großteil der Trainingsdatensätze stammt aus dem Internet (Zhao et al. 2023) und enthält daher erhebliche Vorurteile, die von den darauf trainierten Sprachmodellen wiedergegeben oder sogar verstärkt werden können (Bubeck et al. 2023). Dazu zählen neben stereotypen Assoziationen und negativen Empfindungen gegenüber bestimmten Gruppen auch gesellschaftspolitische Vorurteile (Bender et al. 2021).

Im ersten Schritt wollen wir den ursprünglichen Prozess vor Einführung von ChatGPT darstellen. Der ursprüngliche Serviceprozess beginnt damit, dass der Kunde oder die Kundin eine Kontaktanfrage an den Kundensupport formuliert, in der er sein oder sie ihr Problem beschreibt. Während der Kunde oder die Kundin seine oder ihre Anfrage formuliert, werden ihm oder ihr automatisch Überschriften potenziell passender FAQ-Artikel angezeigt. Um passende FAQ-Artikel zu finden, wird ein KI-gestütztes System eingesetzt, das die Ähnlichkeit zwischen der Kundenanfrage und den vorhandenen Artikeln misst. Entscheidet sich der Kunde oder die Kundin, die angebotenen Artikel zu ignorieren oder findet er oder sie in den Artikeln keine passende Lösung, so kann er oder sie die zuvor formulierte Anfrage abschicken. Dadurch wird ein Ticket eröffnet, das daraufhin von einer Mitarbeiterin bzw. einem Mitarbeiter des Kundensupports bearbeitet wird. Können die Supportmitarbeiterinnen und -mitarbeiter das Kundenproblem nicht ad hoc lösen, so besteht für sie die Möglichkeit, das Dokumentenarchiv des Softwareunternehmens selbstständig zu durchsuchen. Haben sie passende Dokumente gefunden, extrahieren sie die relevanten Informationen und formulieren eine Antwort. Ist das Kundenproblem mit der Antwort gelöst, so ist die Interaktion beendet. Andernfalls haben die Kunden oder Kundinnen die Möglichkeit, Rückfragen zu stellen. In diesem Fall muss der Kundensupport erneut reagieren und ggf. weitere Informationen aus dem Dokumentenarchiv abrufen. Dieser Prozess wiederholt sich, bis das Kundenproblem gelöst ist. Der beschriebene Ablauf vor Integration von ChatGPT ist in Abb. 2 schematisch dargestellt.

Es zeigt sich, dass dieser Prozess häufig mit einem erheblichen Aufwand für die Supportmitarbeiterinnen und -mitarbeiter verbunden ist. Neben der Suche nach relevanten Dokumenten wird zusätzliche Zeit für das Extrahieren und Zusammenfassen von Informationen sowie für das Formulieren von Antworten aufgewendet. Darüber hinaus wird potenziell neues Wissen, das im Laufe der Konversation entstanden ist, nicht extrahiert, aufbereitet und gespeichert, wenn die Supportmitarbeiterinnen und -mitarbeiter dies nicht eigenmotiviert vornehmen.

Der transformierte Prozess zielt darauf ab, Prozessverbesserungen durch die Integration von ChatGPT zu erreichen. Ebenso wie der ursprüngliche Prozess beginnt auch der transformierte Prozess mit der Formulierung einer Supportanfrage seitens der Kunden oder Kundinnen. Damit das LLM eine passende Antwort formulieren kann, müssen der Kunde oder die Kundin zunächst die notwendigen Informationen in Form von Dokumenten bereitgestellt werden. Dazu werden Vektordatenbanken verwendet (siehe Abschn. 2). Abb. 3 zeigt beispielhaft die drei notwendigen Schritte zur Integration zwischen Vektordatenbank und LLM:

Bevor die Antworten an die Kundinnen und Kunden verschickt werden, ist vorgesehen, dass der Kundensupport die von ChatGPT generierten Texte überprüft. Das bedeutet, dass die Mitarbeiterinnen und Mitarbeiter nicht ersetzt werden. Jedoch ändern sich ihre Aufgaben. Sie sollen zukünftig insbesondere die vom LLM vorformulierte Antwort prüfen und ggf. verbessern. Dabei besteht für die Mitarbeiterinnen und Mitarbeiter die Möglichkeit, mit dem LLM in einen Dialog zu treten, um den Textvorschlag iterativ zu verbessern und ggf. mit zusätzlichen Informationen anzureichern. Sobald die Supportmitarbeiterinnen und -mitarbeiter mit der Antwort zufrieden sind, leiten sie diese an den Kunden oder die Kundin weiter. Treten Rückfragen auf, so werden diese in einem weiteren Prozessdurchlauf mittels LLM-Unterstützung bearbeitet. Hat der Kunde oder die Kundin schließlich keine weiteren Fragen, so ist die Interaktion beendet. Im Gegensatz zum ursprünglichen Prozess stellt dies jedoch nicht das Ende dar, sondern löst einen weiteren Subprozess aus, da innerhalb dieser Interaktion neues Wissen entstanden sein kann. Dieses Wissen könnten die Supportmitarbeiterinnen oder -mitarbeiter beispielsweise im Austausch mit Kollegen oder Kolleginnen oder anderen externen Informationsquellen erworben haben. Darüber hinaus könnte neues Wissen durch den Kunden oder die Kundin in die Interaktion eingebracht worden sein. In diesem abschließenden Subprozess werden die wesentlichen Informationen aus der Ticket-Historie durch das LLM extrahiert und aufbereitet. Bevor jedoch ein entsprechendes Dokument im Dokumentenarchiv abgelegt wird, bereitet der Supportmitarbeiter oder die Supportmitarbeiterin die Informationen auf, indem er beispielsweise deren Relevanz und Neuheit bewertet. Der beschriebene Prozess nach Integration von ChatGPT ist in Abb. 4 dargestellt.

Aus ökonomischer Perspektive zeigt sich, dass mit der vorgestellten Lösung für den Kundensupportprozess mehrere Vorteile erzielt werden können: So lassen sich potenziell Zeit und Kosten durch Nutzung der neuen Lösung einsparen. In Gesprächen mit dem Softwarehaus wurde insbesondere deutlich, dass sich das Management einen Wettbewerbsvorteil durch schnellere Antworten auf Kundenanfragen verspricht. Darüber hinaus können Unternehmen Kosten einsparen. Eine Beispielrechnung könnte so aussehen, dass pro Anfrage eine Minute eingespart werden könnte und die Kosten pro Minute 50 Cent betragen. Unter der Annahme, dass 10.000 Anfragen pro Tag in einer Serviceorganisation eingehen, würden die Kosteneinsparungen bei ca. 150.000 €/Monat liegen. Das Geschäftsmodell skaliert mit der Größe der Serviceorganisation. Darüber hinaus bietet die vorgestellte Lösung die Möglichkeit, bessere Antworten zu generieren und – wie oben dargestellt – die Wissensbasis zu verbessern.

Neben den klar ersichtlichen wirtschaftlichen Vorteilen ergibt sich für die Supportmitarbeiterinnen und -mitarbeiter eine signifikante Transformation ihrer Arbeitsweise. Die Integration von ChatGPT befähigt sie, ihre Aufgaben mit gesteigerter Effizienz und Effektivität zu bewältigen. Im Einklang mit bestehender Literatur ist das Ziel dieses Systems nicht, den Menschen zu ersetzen, sondern vielmehr seine Arbeit zu ergänzen (Brynjolfsson 2023; Bankins et al. 2023). Daher ist keine Reduktion von Arbeitsstellen zu erwarten, sondern vielmehr eine Umorientierung der Tätigkeiten: Weg von zeitaufwendigen Routinearbeiten, wie der Recherche und Zusammenführung von Informationen sowie der Formulierung von Antworten, hin zu einer verstärkten Fokussierung auf die Gewährleistung qualitativ hochwertiger Antworten. Parallel dazu profitieren die Kunden und Kundinnen von reduzierten Antwortzeiten und einer erhöhten Qualität sowie Konsistenz der Serviceleistungen. Aufgrund der Integration in bestehende Systeme und Prozesse, dem Fokus auf dem Menschen als finalen Entscheidungsträger und der hohen Transparenz, geschaffen durch die Dialogfähigkeit und das Hinterlegen von Quellen aus dem Dokumentenarchiv, kann eine hohe Akzeptanz und Zufriedenheit seitens der Supportmitarbeiterinnen und -mitarbeiter vermutet werden (Chatterjee et al. 2021; Bankins et al. 2023; Bedué und Fritzsche 2022).

Dennoch ist es entscheidend, die bereits erörterten Risiken wie Halluzinationen und Bias in die Bewertung mit einzubeziehen. Wirtschaftliche Vorteile stehen potenziellen Fehlinformationen gegenüber, die das Vertrauen der Kunden und Kundinnen beeinträchtigen könnten. Eine fundierte Risikoanalyse vor der Implementierung und etablierte Korrekturmechanismen sind notwendig, um eine dauerhafte und verlässliche Qualitätssicherung im Kundensupport zu gewährleisten.