Dialog-Anpassung an den Charakter des Benutzers – Anwendung der Methoden des Charakter Computing

Zur Beantwortung der ersten Forschungsfrage „Welche Merkmale aus Textnachrichten geben Aufschluss über den affektiven Zustand und die Persönlichkeit des Nutzers?“ wurden die Textnachrichten, die die Nutzer während des Experiments an den Chatbot schrieben, genauer analysiert.

Zunächst wurden alle Nachrichten kodiert. Es gab die folgenden Merkmale:

Die verschiedenen Kodierungen wurden nach der Erstellung des Fragebogens festgelegt und von fünf Experten aus dem Bereich der Conversational AI Forschung diskutiert und finalisiert. Anschließend konnten alle Nachrichten manuell kodiert werden. Diese Codes wurden dann erneut mit den fünf Experten aus dem Bereich der Conversational AI diskutiert und finalisiert. Die Ergebnisse der Studie liefern nicht für alle Nachrichtenmerkmale signifikante Ergebnisse. Die signifikantesten Ergebnisse wurden für den affektiven Zustand, wütend oder traurig, gezeigt. Allerdings unterscheiden sich die verschiedenen Persönlichkeiten nur wenig in der Art und Weise, wie sie eine Nachricht ausdrücken. Hier konnten kaum signifikante Ergebnisse erzielt werden. Die Ergebnisse zeigen, dass der affektive Zustand aus einer Chat-Nachricht herausgelesen werden kann. Wenn es jedoch darum geht, die Persönlichkeit aus einer einzelnen Nachricht herauszufiltern, wird es komplexer. Hier liefern die vorliegenden Ergebnisse nur wenige signifikante Aussagen. Es wird davon ausgegangen, dass mehr als nur eine Nutzernachricht zur Bestimmung der Persönlichkeit herangezogen werden müsste.

Tab. 1 zeigt die abhängigen Variablen in Bezug auf ihren Einfluss auf den affektiven Zustand oder die Persönlichkeit. X bedeutet, dass es einen signifikanten Einfluss der Variablen gibt.

Die oben dargestellten Hauptergebnisse basieren auf vielen linearen Regressionen, um die Abhängigkeiten zwischen den einzelnen Merkmalen der Codes und der Persönlichkeit sowie der affektiven Verfassung zu ermitteln. Neben der Persönlichkeit und der affektiven Verfassung wurden auch Unterschiede zwischen Geschlecht, Alter und der Erfahrung, die Nutzer bereits im Chat mit Chatbots haben, untersucht. Geschlecht, Alter und Erfahrung wurden als unabhängige Variable betrachtet. Diese Einflussfaktoren können Bot-Anbieter oft mithilfe von Daten aus dem Customer-Relationship-Management(CRM)-System erfahren und so als Basisinformation direkt an den Bot weitergeben. Es ist daher nicht notwendig, diese Informationen auch über die Art und Weise der Nachrichtengestaltung auszuwerten.

Bei der multiplen linearen Regression wird eine abhängige Variable durch mehrere unabhängige Variablen erklärt, vgl. Backhaus et al. [13]. In den vorliegenden Studien werden der affektive Zustand (wütend, traurig) und die Persönlichkeitseigenschaften (Extraversion, Verträglichkeit, Gewissenhaftigkeit, Neurotizismus, Offenheit) als abhängige Variable betrachtet.

Wenn Nutzer das Wort „Hilfe“ schreiben also, wenn die Nachricht „Hilfe“ enthält, gibt es einen signifikant positiven Effekt (b = 1,19, p = 0,012). Frauen sind generell wütender als Männer, der Einfluss von Männern im Vergleich zu Frauen signifikant negativ (b = −0,18, p = 0,000). Jüngere Menschen sind wütender als ältere Menschen (Alter ein signifikanter negativer Einfluss, b = −0,01, p = 0,000).

Wenn Nutzer traurig sind, schreiben sie eher längere Nachrichten (Nachrichten, die kürzer/gleich dem Durchschnitt sind, haben einen signifikanten negativen Einfluss, b = −0,13, p = 0,029). Wenn Nutzer einen Gruß schreiben, sind sie trauriger, Nachrichten mit Gruß haben einen signifikant positiven Effekt (b = 0,13, p = 0,027). Wenn Nutzer „leider“ schreiben, sind sie trauriger (Nachrichten, die das Wort „leider“ enthalten, haben einen signifikant positiven Effekt, b = 0,33, p = 0,000). Wenn Nutzer „bitte“ schreiben, sind sie weniger traurig (Wenn eine Nachricht das Wort „bitte“ enthält, ist der Effekt signifikant negativ, b = −0,19, p = 0,015). Frauen sind generell trauriger als Männer (Der Einfluss von Männern im Vergleich zu Frauen ist signifikant negativ, b = −0,32, p = 0,000). Jüngere Menschen sind trauriger als ältere Menschen (Das Alter hat einen signifikant negativen Einfluss, b = −0,01, p = 0,000).

Wenn Nutzer mehr als zweimal gechattet haben, sind sie extrovertierter (Der Einfluss von Nutzern, die mehr als zweimal mit einem Bot gechattet haben, ist signifikant positiv, b = 0,15, p = 0,000). Frauen sind generell extrovertierter als Männer (Der Einfluss von Männern im Vergleich zu Frauen ist signifikant negativ, b = −0,09, p = 0,039). Ältere Menschen sind eher extrovertiert als jüngere (Alter ein signifikant positiver Einfluss, b = 0,00, p = 0,022).

Nutzer, die längere Nachrichten schreiben, sind gewissenhafter (Kürzere Nachrichten haben einen signifikant negativen Einfluss, b = −0,14, p = 0,000). Frauen sind im Allgemeinen gewissenhafter als Männer (Der Einfluss von Männern im Vergleich zu Frauen ist signifikant negativ, b = −0,12, p = 0,000). Ältere Menschen sind eher gewissenhaft als jüngere Menschen (Alter ein signifikanter positiver Einfluss, b = 0,01, p = 0,000).

Frauen sind im Allgemeinen neurotischer als Männer (Der Einfluss von Männern im Vergleich zu Frauen ist signifikant negativ, b = −0,44, p = 0,000). Jüngere Menschen sind eher neurotisch als Männer (Das Alter hat einen signifikant negativen Einfluss, b = −0,01, p = 0,000).

Frauen sind generell offener als Männer (Der Einfluss von Männern im Vergleich zu Frauen ist signifikant negativ, b = −0,17, p = 0,000). Nutzer, die einen Bot häufiger nutzen, sind offener (Nutzer, die einen Bot mehr als zweimal genutzt haben, haben einen signifikant positiven Einfluss, b = 0,19, p = 0,000).

Zur Beantwortung der zweiten Forschungsfrage „Welche Erwartungen haben die verschiedenen Nutzer (Persönlichkeit und affektiver Zustand) an den Chatbot?“ wurden sowohl Regressionsanalysen wie oben beschrieben als auch eine multinomiale logistische Regression durchgeführt.

Die Auswertung der Persönlichkeitsmerkmale und des affektiven Zustands (traurig oder wütend) hinsichtlich der von den Nutzern bevorzugten Designmerkmale liefert nicht für alle Variablen signifikante Ergebnisse. Die folgenden Ergebnisse konnten mittels statistischer Analysen als signifikant nachgewiesen werden:

Eine Zusammenfassung der Ergebnisse ist in Tab. 2 dargestellt. Dabei steht + für positive Auswirkungen und – für negative Auswirkungen.

Bei der multinomialen logistischen Regression hat die abhängige Variable mehr als zwei kategoriale Ausprägungen [14]. Wie bei der linearen Regression werden die beeinflussenden Variablen als unabhängige Variablen bezeichnet. Bei der linearen Regression kann die Wirkung einer unabhängigen Variable auf eine abhängige Variable nach ihrer Stärke beurteilt werden. Bei der logistischen Regression trifft dies jedoch nicht zu, da hier kein linearer Zusammenhang geschätzt wird [13]. Dies bedeutet, dass die gewöhnlichen Regressionskoeffizienten nur in ihre Richtung interpretiert werden können. Das bedeutet, dass bei einem negativen Vorzeichen die Wahrscheinlichkeit des Eintretens des Ereignisses kleiner wird. Bei einem positiven Vorzeichen nimmt diese Wahrscheinlichkeit zu. Der gewöhnliche Koeffizient in der logistischen Regression gibt jedoch keine Auskunft über das Ausmaß der Zunahme oder Abnahme [13]. Um zu überprüfen, ob ein logistisches Regressionsmodell die Eintrittswahrscheinlichkeit gut vorhersagt, können sogenannte Pseudo-Bestimmtheitsmaße verwendet werden. Sie geben an, welcher Anteil der Varianz durch die unabhängigen Variablen erklärt wird [13]. Pseudo-Bestimmtheitsmaße können Werte zwischen 0 und 1 annehmen und werden als Prozentwerte interpretiert. Werte über 0,2 sind hier akzeptabel [13]. Ein Problem, das bei Regressionsmodellen auftreten kann, ist die sogenannte Multikollinearität [15]. Multikollinearität kann entstehen, wenn erklärende Variablen hoch miteinander korreliert sind. Um potenziell multikollinearitätserzeugende Variablen zu identifizieren, werden in dieser Arbeit Varianzinflationsfaktoren (VIF) berechnet. Diese werden für jede erklärende Variable bestimmt. Ist ein VIF größer als 10, bedeutet dies, dass die entsprechende Variable Multikollinearität erzeugt.

Für die Analyse wurden die Antworten der Probanden hinsichtlich Nützlichkeit, Vertrauen und Wiederverwendungsabsicht in Bezug auf die drei verschiedenen Bots ausgewertet. Die folgenden Merkmale gelten für die einzelnen Bots:

Dank der Regressionsanalysen und der multinomialen logistischen Regression konnten die folgenden Abhängigkeiten festgestellt werden.

Je höher die Annehmlichkeit einer Person ist, desto nützlicher hält sie den Roboter (\(=0{,}12{,}p=0{,}000\).). Je neurotischer eine Person ist, desto weniger nützlich findet sie Robot (\(b=-0{,}06{,}p=0{,}024\).). Mit zunehmender Wut nimmt die Wahrnehmung der Nützlichkeit des Robots ab (b = −0,07, p = 0,001). Mit zunehmender Traurigkeit steigt die Wahrnehmung, dass der Robot nützlich ist (b = 0,09, p = 0,000).

Es zeigt sich, dass die Verträglichkeit einen signifikanten positiven Effekt hat, \(b=0{,}12{,}p=0{,}000\). Das heißt je höher die Verträglichkeit einer Person ist, desto nützlicher findet sie LisaLittle. Außerdem ist der Einfluss von Neurotizismus signifikant negativ, \(b=-0{,}07{,}p=0{,}007\). Je neurotischer eine Person ist, desto weniger nützlich empfindet sie LisaLittle. Darüber hinaus hat Ärger einen signifikant negativen Einfluss, \(b=-0{,}05{,}p=0{,}012\). Mit zunehmender Wut nimmt die Wahrnehmung der Nützlichkeit von LisaLittle ab. Traurigkeit hat einen signifikant positiven Einfluss, \(b=0{,}10{,}p=0{,}000.\) Mit zunehmender Traurigkeit steigt die Wahrnehmung, dass LisaLittle nützlich ist. Männlich hat einen signifikant negativen Einfluss, \(b=-0{,}11{,}p=0{,}015\). Da Männer dazu neigen, LisaLittle im Vergleich zu Frauen als weniger nützlich zu betrachten. Das Alter hat einen signifikanten negativen Effekt, \(b=-0{,}00{,}p=0{,}017\). Mit zunehmendem Alter nimmt die Wahrnehmung, dass LisaLittle nützlich ist, ab.

Extraversion hat einen positiven und signifikanten Einfluss auf \(b=0{,}07{,}p=0{,}009\). Mit zunehmender Extraversion steigt auch die Wahrnehmung der Nützlichkeit von LisaBig. Die Verträglichkeit zeigt einen signifikant positiven Effekt, \(b=0{,}21{,}p=0{,}000\). Das heißt je höher die Verträglichkeit einer Person ist, desto nützlicher empfindet sie LisaBig. Traurigkeit hat einen signifikant positiven Effekt, \(b=0{,}12{,}p=0{,}000.\) Mit zunehmender Traurigkeit steigt auch die Wahrnehmung, dass LisaBig nützlich ist. Das Alter hat einen signifikanten negativen Effekt, \(b=-0{,}00{,}p=0{,}007\). Mit zunehmendem Alter nimmt die Wahrnehmung ab, dass LisaBig nützlich ist.

Es zeigt sich, dass die Verträglichkeit einen signifikanten positiven Effekt hat, \(b=0{,}11{,}p=0{,}000\). Das heißt je höher die Verträglichkeit einer Person ist, desto vertrauenswürdiger wird der Roboter bewertet. Außerdem ist der Einfluss der Offenheit signifikant positiv, \(b=0{,}06{,}p=0{,}011\). Je offener eine Person ist, desto vertrauenswürdiger empfindet sie den Roboter. Traurigkeit hat einen signifikant positiven Effekt, \(b=0{,}09{,}p=0{,}000.\) Mit zunehmender Traurigkeit steigt auch die Wahrnehmung, dass der Roboter vertrauenswürdig ist.

Es zeigt sich, dass die Verträglichkeit einen signifikanten positiven Effekt hat, \(b=0{,}07{,}p=0{,}000\). Das heißt je höher die Toleranz einer Person ist, desto vertrauenswürdiger wird LisaLittle eingeschätzt. Neurotizismus hat einen signifikant negativen Einfluss, \(b=-0{,}06{,}p=0{,}012\). Je neurotischer eine Person ist, desto eher misstraut sie LisaLittle. Außerdem ist der Einfluss von Offenheit signifikant positiv, \(b=0{,}06{,}p=0{,}008\). Je offener eine Person ist, desto vertrauensvoller fühlt sie sich LisaLittle gegenüber. Wut hat einen signifikant negativen Einfluss, \(b=-0{,}04{,}p=0{,}047\). Je wütender eine Person ist, desto weniger vertraut sie LisaLittle. Traurigkeit hat einen signifikant positiven Einfluss, \(b=0{,}11{,}p=0{,}000.\) Mit zunehmender Traurigkeit nimmt die Wahrnehmung zu, dass LisaLittle vertraulich ist.

Es zeigt sich, dass die Verträglichkeit einen signifikanten positiven Effekt hat, \(b=0{,}14{,}p=0{,}000\). Das heißt je höher die Verträglichkeit einer Person ist, desto vertrauenswürdiger wird LisaBig eingestuft. Außerdem ist der Einfluss der Offenheit signifikant positiv, \(b=0{,}06{,}p=0{,}008\). Je offener eine Person ist, desto vertrauenswürdiger schätzt sie LisaBig ein. Wut hat einen signifikant negativen Einfluss, \(b=-0{,}07{,}p=0{,}000\). Je wütender eine Person ist, desto weniger vertraut sie LisaBig. Traurigkeit hat einen signifikant positiven Einfluss, \(b=0{,}13{,}p=0{,}000.\) Mit zunehmender Traurigkeit nimmt die Wahrnehmung zu, dass LisaBig vertrauensvoll ist. Das Alter hat einen negativen und signifikanten Einfluss, \(b=-0{,}01{,}p=0{,}003\). Mit zunehmendem Alter sinkt das Vertrauen in LisaBig.

Es zeigt sich, dass die Verträglichkeit einen signifikanten positiven Effekt hat, \(b=0{,}14{,}p=0{,}000\). Das heißt je höher die Toleranz einer Person ist, desto wahrscheinlicher ist es, dass sie den Roboter wieder benutzen wird. Außerdem ist der Einfluss der Offenheit signifikant positiv, \(b=0{,}06{,}p=0{,}022\). Je offener eine Person ist, desto wahrscheinlicher ist es, dass sie den Roboter erneut nutzen wird. Wut hat einen signifikant negativen Effekt, \(b=-0{,}06{,}p=0{,}011.\) Mit zunehmender Wut sinkt der Wunsch, den Roboter wieder zu nutzen. Traurigkeit hat einen signifikant positiven Effekt, \(b=0{,}08{,}p=0{,}000.\) Mit zunehmender Traurigkeit steigt der Wunsch, den Roboter wieder zu benutzen.

Es zeigt sich, dass die Verträglichkeit einen signifikanten positiven Effekt hat, \(b=0{,}13{,}p=0{,}000\). Das heißt je höher die Toleranz einer Person ist, desto eher wird sie LisaLittle wieder benutzen. Außerdem ist der Einfluss der Offenheit signifikant positiv, \(b=0{,}10{,}p=0{,}000\). Je offener eine Person ist, desto eher würde sie LisaLittle wieder nutzen. Traurigkeit hat einen signifikant positiven Effekt, \(b=0{,}09{,}p=0{,}000.\) Mit zunehmender Traurigkeit steigt auch der Wunsch, LisaLittle wieder zu nutzen.

Es zeigt sich, dass die Verträglichkeit einen signifikanten positiven Effekt hat, \(b=0{,}18{,}p=0{,}000\). Das heißt je höher die Toleranz einer Person ist, desto eher wird sie LisaBig wieder nutzen. Außerdem ist der Einfluss der Offenheit signifikant positiv, \(b=0{,}107p=0{,}010\). Je offener eine Person ist, desto eher würde sie LisaBig wieder nutzen. Wut hat einen signifikant negativen Einfluss, \(b=-0{,}05{,}p=0{,}029\). Mit zunehmender Wut sinkt die Wiederverwendung von LisaBig. Traurigkeit hat einen signifikant positiven Effekt, \(b=0{,}12{,}p=0{,}000.\) Mit zunehmender Traurigkeit steigt das Bedürfnis, LisaBig wieder zu benutzen. Alter hat einen negativen und signifikanten Effekt, \(b=-0{,}00{,}p=0{,}045\). Mit zunehmendem Alter nimmt die beabsichtigte Wiederverwendung von LisaBig ab.

Interessant sind die oben dargestellten Ergebnisse hinsichtlich der einzelnen abhängigen Variablen. Sie zeigen, welche Variablen einen signifikanten Einfluss auf die Nützlichkeit des Bots, das Vertrauen in den Bot und die Absicht, einen Bot erneut zu nutzen, haben.

Dies zeigt deutlich, dass der affektive Zustand Traurigkeit oder die Persönlichkeitseigenschaft Verträglichkeit einen signifikant positiven Einfluss auf alle drei Bewertungskriterien (Nützlichkeit, Vertrauen, Wiederverwendungsabsicht) der einzelnen Bots haben.

Die Persönlichkeitseigenschaft Offenheit hat dagegen nur einen positiven Einfluss auf die Bewertung des Vertrauens und die Absicht, einen Bot wieder zu verwenden, nicht aber auf die Bewertung der Nützlichkeit.

Die Persönlichkeitseigenschaft extrovertiert hat keine Auswirkungen auf Robot und LisaLittle. Bei LisaBig führt sie jedoch zu einer erhöhten Bewertung der Nützlichkeit und des Vertrauens. Das Persönlichkeitsmerkmal Neurotizismus wirkt sich nur auf LisaLittle negativ aus, die von Nutzern mit Neurotizismus als weniger nützlich und weniger vertrauenswürdig eingestuft wird.

Interessant ist auch der Einfluss des Ärgers. Verärgerte Nutzer bewerten Robot als weniger nützlich und würden diesen Bot nicht mehr verwenden. Bei LisaLittle führt Wut ebenfalls zu einer niedrigeren Bewertung der Nützlichkeit und zu einer geringen Bewertung des Vertrauens. Bei LisaBig wirkt sich Wut negativ auf das Vertrauen und die Absicht aus, den Bot erneut zu nutzen.

Die vorliegenden Ergebnisse der durchgeführten Regressionsanalyse liefern noch keine eindeutigen und signifikanten Erkenntnisse darüber, welche Nutzer oder Merkmale von Nutzern einen Bot als nützlicher, vertrauenswürdiger oder generell als wertvoller einstufen. Um diese Wissenslücken zu schließen, wurde die multinomiale logistische Regression eingesetzt. Dabei wurden die Bewertungen für Nützlichkeit, Vertrauen und die Absicht, den Bot erneut zu nutzen, aggregiert und zu einer neuen Variable namens „Bester Bot“ zusammengefasst. Anschließend wurden nur die Ergebnisse berücksichtigt, bei denen ein Bot nach Addition der drei Bewertungskriterien eine klare Mehrheit hatte. Wenn also mindestens zwei Bots bei der Auswertung die gleiche Punktzahl erhielten, wurden sie in der multinomialen logistischen Regression nicht weiter berücksichtigt. Es ist zu beachten, dass das Nagelkerke-Pseudo-Determinismus-Maß einen Wert von 0,05 hatte.

Das Alter hat eine deutlich abnehmende Wirkung auf LisaLittle, \(OR=0{,}99{,}p=0{,}015\). Steigt das Alter um ein Jahr, sinkt die Wahrscheinlichkeit, LisaLittle anstelle von Robot zu wählen, um das 0,99-Fache. Männer haben einen signifikant negativen Einfluss auf die Wahl von LisaLittle, \(OR=0{,}79{,}p=0{,}037\). Wenn der Teilnehmer männlich ist, sinkt die Wahrscheinlichkeit, LisaLittle anstelle von Robot zu wählen, um das 0,79-Fache. Traurig hat einen signifikant positiven Effekt auf die Wahl von LisaLittle, \(OR=1{,}16{,}p=0{,}001\). Wenn die Traurigkeit um eine Einheit zunimmt, erhöht sich die Wahrscheinlichkeit, LisaLittle anstelle von Robot zu wählen, um das 1,16-Fache. Toleranz hat einen negativen und signifikanten Einfluss auf die Wahl von LisaLittle, \(OR=0{,}86{,}p=0{,}022\). Wenn die Toleranz um eine Einheit zunimmt, sinkt die Wahrscheinlichkeit, LisaLittle anstelle von Robot zu wählen, um das 0,86-Fache. Offenheit hat einen signifikant positiven Einfluss auf die Wahl von LisaLittle, \(OR=1{,}18{,}p=0{,}004\). Wenn die Offenheit um eine Einheit zunimmt, steigt die Wahrscheinlichkeit, LisaLittle anstelle von Robot zu wählen, um das 1,18-Fache. Das Alter hat eine signifikant abnehmende Wirkung auf LisaBig, \(OR=0{,}99{,}p=0{,}000\). Erhöht sich das Alter um ein Jahr, sinkt die Wahrscheinlichkeit, LisaBig anstelle von Robot zu wählen, um das 0,99-Fache. Traurigkeit hat einen signifikant positiven Einfluss auf die Wahl von LisaBig, \(OR=1{,}26{,}p=0{,}000\). Erhöht sich die Traurigkeit um eine Einheit, steigt die Wahrscheinlichkeit, LisaBig anstelle des Roboters zu wählen, um das 1,26-Fache. Neurotizismus hat eine positive und signifikante Auswirkung auf die Wahl von LisaBig, \(OR=1{,}15{,}p=0{,}048\). Erhöht sich der Neurotizismus um eine Einheit, steigt die Wahrscheinlichkeit, LisaBig anstelle des Roboters zu wählen, um das 1,15-Fache.