18. Der Einfluss von Datenkompetenz, Feintuning und Transparenz auf Conversational Business Analytics

Anstelle der in der Literatur häufig anzutreffenden Bezeichnungen „Business Intelligence“, „Business Intelligence & Analytics“ und „Reporting & Advanced Analytics“ präferiert der Autor den treffenderen Begriff „Business Analytics“. Siehe Watson (2011) zu den verschiedenen Arten von „Analytics“ („Descriptive Analytics“, „Predictive Analytics“ und „Prescriptive Analytics“), die sowohl die Aktivitäten im Rahmen von Business Intelligence als auch solche im Kontext von Advanced Analytics einschließen. Aus dieser Sicht befasst sich Business Analytics mit der Gewinnung und Bereitstellung von deskriptiven, prädiktiven und präskriptiven Informationen für betriebliche Entscheidungszwecke mithilfe analytischer Informationssysteme. Aus diesem Grund wird außerdem die Bezeichnung „Self-Service Analytics“ statt der Begriffe „Self-Service Business Intelligence“ oder „Self-Service Business Intelligence & Analytics“ verwendet.

Die Fähigkeit von Rechnern, natürliche Sprache zu verstehen und richtige Antworten zu generieren, hat sich in den letzten Jahren erheblich verbessert. Diese positive Entwicklung ist vor allem auf die großen Sprachmodelle zurückzuführen. So hat beispielsweise ChatGPT als generative Künstliche Intelligenz von OpenAI für Aufsehen gesorgt, indem sie Anfragen detailliert beantwortet, ganze Aufsätze schreibt und sogar Softwarecode produziert. Trotz der derzeitigen Einschränkungen dieser großen Sprachmodelle stellen sie einen bahnbrechenden Durchbruch in der Evolution der Künstlichen Intelligenz dar und setzen ganz neue Maßstäbe.

Conversational Business Analytics ist kein feststehender Begriff. Vielmehr ist diese Bezeichnung aus dem Bedarf entstanden, die aktuell in der Wissenschaft und Praxis beobachtbaren Ansätze zur Informationsgenerierung mithilfe großer Sprachmodelle (im betrieblichen Kontext) zu benennen; vgl. zu diesen Ansätzen beispielsweise Alparslan und Chernenko (2023), Azmia et al. (2023), Jarco und Sulkowski (2023) und Li et al. (2023). Siehe darüber hinaus zu den semantischen Ansätzen im Rahmen von Self-Service Analytics Spahn et al. (2008) und Li et al. (2017).

Vgl. für eine Einführung in und einen Überblick über die grundlegenden Konzepte von Business Analytics Vercellis (2009); Watson (2009, 2011); Chen et al. (2012); Chamoni und Gluchowski (2016, 2017); Holsapple et al. (2014); Ain et al. (2019); Baars und Kemper (2021); Alparslan und Hügens (2023); Richardson und Watson (2024).

Vgl. Imhoff und White (2011); Alpar und Schulz (2016); Lennerholt et al. (2020); Michalczyk et al. (2020); Passlick et al. (2022).

Mit zunehmender Eigenständigkeit der Fachbereiche verändert sich die Rolle der IT-Abteilung. Statt Entwicklungstätigkeiten gewinnen andere Tätigkeiten an Bedeutung. Dazu gehört neben der Bereitstellung der erforderlichen Infrastruktur auch die Unterstützung der Fachbereiche bei Anfragen. Darüber hinaus müssen Standards von der IT-Abteilung definiert und deren Einhaltung überwacht werden. Denn die Einführung von Self-Service Analytics führt zwangsläufig zu einem Wildwuchs an Berichten. Außerdem steigt mit Self-Service Analytics die Gefahr, dass innerhalb eines Unternehmens widersprüchliche Informationen generiert werden. In dieser Hinsicht besteht ein Bedarf für Standards, siehe Clarke et al. (2016). Diese Standards müssen beispielsweise die Definition von Metadaten, die Datenhaltung und den Datenzugriff sowie die Informationsgewinnung und -verteilung regeln. Insofern muss die Autonomie durch Self-Service Analytics durch regulative Grenzen flankiert werden.

Ein Data Mart hält die Daten für einen bestimmten Funktionsbereich oder einen speziellen Anwendungszweck in einem multidimensionalen Datenwürfel (OLAP-Cube) vor. Durch die Anwendung von OLAP-Techniken (beispielsweise durch Aufreißen des Datenwürfels und Beschränkungen auf bestimmte Datenscheiben) können Informationen durch einfaches Drag-and-Drop selbständig erzeugt werden. Ein Data Mart verwendet die Daten aus einem Data Warehouse. Ein Data Warehouse ist ein unternehmensweiter Datenbestand, der die relevanten Daten in konsolidierter, harmonisierter und integrierter Form vorhält. Dazu werden Rohdaten aus verschiedenen Quellsystemen extrahiert und transformiert, um sie in strukturierter Form in ein Data Warehouse zu laden. In der Regel basiert ein Data Warehouse auf einem relationalen Datenbanksystem. Ein relationales Datenbanksystem stößt bei der Verarbeitung großer Mengen semistrukturierter und unstrukturierter Daten an seine Leistungsgrenzen. Um den Anforderungen des Big-Data-Zeitalters gerecht zu werden, werden zunehmend NoSQL-Technologien als Ergänzung zu relationalen Datenbanksystemen eingesetzt. Prominente Beispiele für diese NoSQL-Technologien sind dokumentenorientierte Datenbanken und Graphdatenbanken; vgl. Alparslan und Mankel (2019). In diesem Zusammenhang wird seit einiger Zeit der Data Lake als Erweiterung der Architektur analytischer Informationssysteme diskutiert; vgl. Llave (2018). Ein Data Lake basiert auf NoSQL-Technologien und hält Daten beliebiger Art und Menge in ihrer Rohform vor. Die Daten werden erst dann transformiert, wenn sie für die Datenanalyse benötigt werden.

Vgl. zu Datenkompetenz aus allgemeiner Perspektive Schüller et al. (2019) und die folgenden Ausführungen in Kap. 3.​2, die sich allerdings auf das Anwendungsbeispiel beziehen.

Zahlreiche Studien belegen die Rolle der Datenkompetenz beim Einsatz von Self-Service Analytics. Nach Imhoff und White ist die Befähigung der Endanwender zur Datenanalyse neben anderen Faktoren ein Erfolgsfaktor für Self-Service Analytics; vgl. Imhoff und White (2011). Lennerholt, Laere und Soderstrom untersuchen die individuellen Herausforderungen bei der eigenständigen Informationsgewinnung; vgl. Lennerholt et al. (2020). Sie identifizieren den Bedarf für intensive Schulungen und einfach zu bedienende Werkzeuge, um die Wissenslücken unerfahrener Endanwender zu schließen. Alparslan und Hügens gehen in ihrer empirischen Studie den Problemen nach, mit denen kleine und mittelgroße Unternehmen beim Einsatz analytischer Informationssysteme konfrontiert sind; vgl. Alparslan und Hügens (2023).Für 68 % der Befragten sind fehlende Kenntnisse und Fähigkeiten ein zentrales Hindernis, um Daten in neue Informationen umzuwandeln.

Vgl. zu Natural Language Processing und zu den natürlichsprachlichen Benutzerschnittstellen beispielsweise Quamar et al. (2022) und Özcan et al. (2020).

Vgl. Alparslan und Chernenko (2023).

Ein großes Sprachmodell basiert auf der Transformer-Architektur; vgl. Kamath et al. (2022); Tunstall et al. (2022); Paaß und Giesselbach (2023). Diese Deep-Learning-Architektur hat sich in kurzer Zeit als Standard für die Verarbeitung natürlicher Sprache etabliert. Ein Transformer besteht aus Encodern und Decodern, die nacheinander durchlaufen werden, um natürliche Sprache aus Texten zu erlernen und Antworten zu erzeugen. Außerdem enthält ein Transformer einen Self-Attention-Mechanismus, der ein besseres Gesamtverständnis des Textes gewährleistet. Hierbei werden die Eingangsinformationen (Token als Wortteile, Zahlen, Wörter oder Satzzeichen) mit anderen Teilen der Eingangsinformationen (Token) in Beziehung gesetzt. Ein großes Sprachmodell wird durch das selbstgesteuerte Lernen mit großen Mengen von Textdokumenten trainiert. Während des Trainings verarbeitet das große Sprachmodell Texte als Sequenzen von Token und passt seine Parameter (z. B. Gewichte der Neuronen) an. Heutige Versionen großer Sprachmodelle verfügen über Milliarden solcher Parameter. Dadurch sind sie in der Lage, Anfragen in natürlicher Sprache zu verstehen und zu beantworten, indem sie das nächste Token in einem Satz mit beeindruckender Klassifikationsgenauigkeit vorhersagen.

Eine Ontologie ist eine formalsprachliche Spezifikation einer Konzeptualisierung zum Zweck der Repräsentation des Wissens einer Domäne. Sie besteht aus Konzepten und den Beziehungen zwischen diesen Konzepten. Eine Ontologie ermöglicht die Explizierung impliziter Wissensstrukturen durch die Anwendung von Inferenzregeln; vgl. Zelewski (1999), Zelewski et al. (2001, 2005), und Alan (2005) für eine ausführliche Diskussion von Ontologien. Siehe Baldazzi et al. (2023) zur Kombination von großen Sprachmodellen mit Ontologien im Kontext des Feintunings.

Vgl. beispielsweise Li et al. (2023) zur Extrahierung von Informationen aus Finanzberichten.

Vgl. Alparslan und Chernenko (2023).

Das Beispiel bezieht sich auf die Extraktion von Informationen aus strukturierten Daten. Als Manipulationssprache wird dabei SQL eingesetzt, sodass es sich um einen Anwendungsfall von Text-to-SQL handelt. Es ist zu betonen, dass große Sprachmodelle auch dazu genutzt werden können, Informationen aus unstrukturierten Daten zu extrahieren; siehe beispielsweise Li et al. (2023).

Sowohl die Datenqualität als auch die Informationsqualität haben einen erheblichen Einfluss auf den Erfolg von analytischen Informationssystemen; vgl. für einen Überblick Ain et al. (2019). Die Begriffe Datenqualität und Informationsqualität werden häufig synonym verwendet. In dieser Untersuchung werden sie jedoch unterschiedlich definiert, um die Auswirkungen des Inputs (Daten) und der Transformationsaktivitäten auf den Output (Informationen) herauszustellen. Die Qualität von Informationen wird hier in allgemeinster Form als „fitness for purpose“ definiert. In diesem Sinn sind Informationen dann von hoher Qualität, wenn sie den Informationsbedarf befriedigen. Die Datenqualität wird ebenfalls anhand des Informationsbedarfs beurteilt. Sie ist das Potenzial einer Datenquelle, die Informationsanforderungen zu erfüllen. Qualitativ hochwertige Daten werden demnach dann bereitgestellt, wenn es möglich ist, aus den Daten durch erfolgreiche Transformationsaktivitäten qualitativ hochwertige Informationen zu gewinnen.

Damit wird eine abstrahierende und statische Sicht auf Conversational Business Analytics eingenommen. Eine solche Sicht hat den Vorteil, dass bestimmte Effekte isoliert untersucht werden können. Der Nachteil besteht darin, dass die Wechselbeziehungen zwischen einer Vielzahl von Transformationsaktivitäten vernachlässigt werden. Zudem wird die Dynamik eines Dialogs, der aus einer Abfolge vieler Anfragen und kontextbezogener Antworten besteht und Lernprozesse auslösen kann, nicht erfasst.

Diese Untersuchung geht von der stochastischen Natur der Informationsgewinnung aus. Zum einen ist die Entwicklung und Nutzung von analytischen Informationssystemen durch Unsicherheit gekennzeichnet. Die Qualität von Informationen wird durch die Qualität der Daten und die Kompetenzen der involvierten Akteure bestimmt. Aber auch andere Faktoren spielen eine zentrale Rolle. So kann beispielsweise eine geringe Systemqualität aufgrund des frühen Reifegrades der eingesetzten Datenbanktechnologie plötzliche Ausfälle verursachen. Die damit verbundenen Verzögerungen können schließlich zum Scheitern der zeitgerechten Informationsbereitstellung führen. Zum anderen gehören große Sprachmodelle, die weiter unten behandelt werden, zu den stochastischen Ansätzen für die Verarbeitung natürlicher Sprache. Sie erwerben Kenntnisse über die natürliche Sprache durch induktives Lernen statistischer Zusammenhänge. Anschließend liefern sie Antworten in natürlicher Sprache, indem sie die wahrscheinlichste Antwort tokenweise berechnen.

Die Informationsaufbereitung und -verarbeitung ist in einen übergeordneten Entscheidungsprozess eingebettet, der die Problemdefinition, die Identifikation geeigneter Maßnahmen, die Entscheidungsfindung sowie die Umsetzung und Bewertung der ausgewählten Maßnahme umfasst. Der Einfachheit halber wird davon ausgegangen, dass im Falle der Bereitstellung der richtigen Information die richtige Entscheidung getroffen wird und die gewählte Maßnahme sofort zur Erzielung des Gewinns umgesetzt wird.

Der Erwartungsnutzen wird in monetären Einheiten gemessen.

Diese Vereinfachung hat den Vorteil, dass im Folgenden ausschließlich auf die Akzeptanz und Ablehnung von richtiger Information abgestellt werden kann. In der folgenden Diskussion wird ein bestimmter Typ von Endanwender betrachtet. Dieser Endanwender zeichnet sich durch Misstrauen gegenüber der Künstlichen Intelligenz aus, was zur Ablehnung richtiger Informationen aufgrund mangelnder Transparenz führt.

Der nomische Kern der hier vorgestellten Minitheorie ist die Hypothese, dass ein Endanwender als „rationaler“ Akteur diejenige Alternative zur Informationsgewinnung wählen wird, die hinsichtlich seines Erwartungsnutzens am besten abschneidet. Theorien, die (so wie die vorliegende Minitheorie) nach dem Statement View formuliert sind, weisen ein Strukturierungsdefizit auf; vgl. Zelewski (1993, 2006), Alparslan und Zelewski (2004) und Alparslan (2006). Die strukturalistische Wissenschaftsauffassung ist aufgrund ihrer reichhaltigen Ausdrucksmittel in der Lage, dieses Strukturierungsdefizit zu beheben sowie das Phänomen der Widerlegungsresistenz von Theorien zu beschreiben und zu erklären. Darüber hinaus bietet die klare Strukturierung „bewährter“ Theorien den Vorteil, das Wissen über einen bestimmten Realitätsausschnitt in Ontologien zu überführen, um es für Rechner verarbeitbar zu machen.

In diesem Fall wäre der Endanwender indifferent zwischen der Bereitstellung der Information durch die IT-Abteilung und keiner Informationserstellung. Hiermit soll die Dringlichkeit der Information und damit der Bedarf für Self-Service Analytics unterstrichen werden. Wenn der Erwartungsnutzen aus der Informationsbereitstellung durch die IT-Abteilung beispielsweise den Wert von eins hätte und somit kein Wertverlust durch die Verzögerung entstünde, könnte auf die eigenständige Informationserzeugung ganz verzichtet werden.

In diesem Beispiel werden die Daten aus einem Data Warehouse abgerufen. Als Datenbank-Manipulationssprache kommt daher SQL (Text-to-SQL) zum Einsatz. Grundsätzlich ist es aber nicht ausgeschlossen, dass auch Daten aus einem Data Lake benötigt werden. In diesem Fall müssten Datenbank-Manipulationssprachen der NoSQL-Technologien wie z. B. Cypher verwendet werden; vgl. dazu Alparslan und Mankel (2019).

Die aufgezählten Kompetenzbereiche beziehen sich auf das vorgestellte Beispiel der Datenabfrage. Sie können in Abhängigkeit von den Transformationsaktivitäten auch anders ausfallen.

Vgl. Zelewski et al. (2005).

Vgl. beispielsweise Kamath et al. (2022).

Das Feintuning auf Basis des überwachten Lernens erfordert eine Menge markierter Trainingsdaten, die beispielsweise aus natürlichsprachlichen Anfragen und entsprechenden Querys bestehen. Das Ergebnis dieses Feintunings sind angepasste Parameter des großen Sprachmodells. Es ist an dieser Stelle hervorzuheben, dass das Feintuning insbesondere bei komplexen Datenabfragen arbeitsintensiv ist und sehr viel Zeit in Anspruch nimmt. Darüber hinaus sind die Komponenten eines analytischen Informationssystems (Data Marts, Data Warehouse und Data Lake) dynamische Gebilde, die regelmäßigen Veränderungen unterliegen. Insofern kann es sich bei dem Feintuning nicht um eine einmalige Maßnahme handeln.

Im Zusammenhang mit großen Sprachmodellen befasst sich das „Prompt Engineering“ mit der Formulierung von „geschickten“ Anfragen, die das große Sprachmodell anleiten sollen, die richtigen Antworten zu generieren; siehe zum Prompt Engineering beispielsweise Mizrahi (2024).

In einer solchen Situation neigen die Endanwender in der Praxis dazu, Vergleichsdaten aus den Quellsystemen oder der Schatten-IT heranzuziehen. Beide Möglichkeiten werden hier ausgeschlossen. Zum einen wird davon ausgegangen, dass die zu generierende Information nicht mit den Quelldaten vergleichbar ist, da die Daten im analytischen Informationssystem erheblich angereichert wurden. Zum anderen wird von einem strikten Verbot der Nutzung der Schatten-IT ausgegangen.

Vgl. Schemmer et al. (2023) zum Thema Vertrauen und Misstrauen in die Künstliche Intelligenz als Einstellung einer Person und dem damit verbundenen Verhalten der Akzeptanz falscher Informationen („over-reliance behavior“) und der Ablehnung richtiger Informationen („under-reliance behavior“). In dieser Untersuchung wird angenommen, dass mangelnde Datenkompetenz beim Endanwender zu mangelnder Transparenz führt. Warum ein Endanwender bei mangelnder Transparenz Informationen ablehnt, wird hier nicht weiter analysiert; die Prämisse wird als gegeben angenommen. Die Gründe für ein solches Verhalten können vielfältig sein. So kann es sich beispielsweise um eine Abneigung gegenüber technischen Neuerungen handeln (Technologieaversion), um eine besonders ausgeprägte Aversion gegenüber risikobehafteten Technologien (Risikoaversion) oder um eine generelle Neigung, Verluste höher zu gewichten als Gewinne in gleicher Höhe (Verlustaversion).

Aus Gründen der Einfachheit wird hier ein linearer Zusammenhang unterstellt.

Hier besteht eine bemerkenswerte Parallele zur Prinzipal-Agent-Theorie. In der Prinzipal-Agent-Theorie ist der Prinzipal einem Moral-Hazard-Problem ausgesetzt, da die Handlungen des Agenten für den Prinzipal „verborgen“ sind, d. h. nicht beobachtet oder beurteilt werden können. Der Prinzipal muss daher den Agenten zu einem Verhalten anhalten, das mit den Zielen des Prinzipals übereinstimmt, oder entsprechende Informationssysteme einrichten. Beide Maßnahmen verursachen höhere Kosten (Agency-Kosten) im Vergleich zu einer Situation (First Best), in der der Prinzipal die Handlungen des Agenten beobachten oder beurteilen kann. Im vorliegenden Kontext ist der Endanwender (Prinzipal) nicht in der Lage, die mithilfe des großen Sprachmodells (Agent) bereitgestellte Information zu beurteilen. Dadurch werden keine oder sogar falsche Informationen für die Entscheidungsfindung erzeugt. Daher müssen Maßnahmen ergriffen werden, um die Funktionsweise der Künstlichen Intelligenz nachvollziehbar zu machen. Die Implementierung von transparenzschaffenden „Informationssystemen“ (um in der Terminologie der Prinzipal-Agent-Theorie zu bleiben) sind mit Kosten verbunden. Aus Platzgründen kann hier nicht näher auf die Aspekte der Minderung des Erwartungsnutzens durch Intransparenz und die Kosten transparenzschaffender Maßnahmen detaillierter eingegangen werden.

Vgl. DARPA (2016); Hall und Gill (2019); Alparslan (2020). Siehe Rudin (2019) für eine kritische Betrachtung der Erklärenden Künstlichen Intelligenz und die Forderung, Black-Box-Modelle im Hochrisikobereich zu vermeiden. Ein grundlegendes Problem der Erklärenden Künstlichen Intelligenz ist der Rashomon-Effekt. Hierbei handelt es sich um das Phänomen, dass es für einen gegebenen Datensatz viele gleich gut funktionierende Modelle geben kann, die auf unterschiedlichen Algorithmen basieren („multiplicity of good models“). Daher können verschiedene Methoden der Erklärenden Künstlichen Intelligenz zu widersprüchlichen Erklärungen ein und derselben Vorhersage führen.

Es handelt es sich hierbei um eine verkürzte Argumentation. In Abhängigkeit von der Güte der Erklärung ist die Wahrscheinlichkeit \({\text{p}}_{24}\) näher zu definieren.