Entwicklung des Chatbots FragBeLa® für Lehramtsstudierende

Die Universität Duisburg-Essen (UDE) gehört zu den großen lehrerbildenden Standorten in Deutschland. Die Lehrerbildung ist ein Profilmerkmal der UDE. Durch steigende Studierendenzahlen, eine heterogene Studierendenschaft sowie die spezifisch im Lehramtsstudium existierenden Rahmenbedingungen wächst der Bedarf an Studienberatung. Ein Beratungs- und Informationsbedarf tritt wiederholt und zu verschiedenen Phasen eines Studiums auf. Fragen zu Studienstruktur, Studienplanung oder Praxiselementen werden von den Studierenden an alle beratenden Institutionen innerhalb der UDE gerichtet, somit auch an das Zentrum für Lehrerbildung (ZLB). Standardfragen wiederholen sich jedes Jahr und zu jeder Anmeldephase zu einem Praxiselement.

Um die Berater*innen von zeitaufwendigen Standardfragen zum Lehramtsstudium zu entlasten, das „Beratungs- und Informationsmanagement Lehramt“ an der UDE in geeigneten Formaten weiterzuentwickeln und auf die unterschiedlichen Bedürfnisse der Studierendenschaft abzustimmen, halten wir Chatbots für geeignet.

Interaktive, webbasierte Dialogsysteme mit virtuellen Berater*innen entlasten mittlerweile zahlreiche Mitarbeiter*innen im öffentlichen Sektor und in Unternehmen bei der Beantwortung von Standardfragen. Chatbots sind in vielen Bereichen wie Produktinformation und Einkauf, Kundendienst oder Nachrichten im Einsatz [1].

Der Beratungs-Chatbot des ZLB FragBeLa® wird als interaktives, webbasiertes Dialogsystem für den Anwendungsfall „Standardfragen in der Studienberatung“ definiert. Das Akronym BeLa steht für Beratung Lehramt. An deutschen Hochschulen war zum Projektstart von FragBeLa® im Oktober 2017 die Nutzung von Chatbots noch wenig verbreitet. In den USA dagegen wurden bereits interaktive Berater*innen zur Studienberatung eingesetzt [2] wie beispielsweise an der Georgia State University, der University of Memphis und der Arizona State University. Mittlerweile setzen aber auch zahlreiche Hochschulen in Deutschland Chatbots ein. Jedoch gibt es aktuell wenige Chatbots, die fakultätsübergreifende Fragen beantworten. Als Beispiele seien genannt die Chatbots GUDI des Studien-Service-Centers der Goethe-Universität in Frankfurt, Clara der Martin-Luther-Universität Halle-Wittenberg oder GutenBot der Universitätsmedizin der Johannes-Gutenberg-Universität Mainz. Aktuell ist zu beobachten, dass die deutschen Hochschulen dem amerikanischen Beispiel bezüglich der breiten Nutzung von Chatbots folgen könnten, denn verschiedene Bereiche der UDE und benachbarter Universitäten haben Anfragen von Unternehmen zum Einkauf und Einsatz von Chatbotlösungen erhalten. Inneruniversitär wird aktuell abgestimmt wie der Einsatzbereich von FragBeLa® erweitert werden kann.

In diesem Artikel beschreiben wir die Schritte von der Konzeption, über die Implementierung bis hin zu ersten Erfahrungen der Nutzer*innen mit FragBeLa®.

Als wir uns im Jahr 2016 mit der Idee des Einsatzes eines Bots für Standardfragen im Lehramtsstudium intensiver beschäftigt haben, war ein erster Ansatz, bereits bestehende Lösungen wie Chatscript und die Artificial Intelligence Markup Language (AIML) hinsichtlich ihrer Eignung für unser Projekt zu überprüfen. Eine Anforderung ist, dass der Chatbot so schnell und gut antwortet, dass das Gefühl eines echten Gesprächs aufkommen kann. Eine weitere, dass das Stellen von Rückfragen durch den Chatbot möglich ist und schließlich soll die Pflege durch diejenigen möglich sein, die das Expertenwissen mitbringen.

Beide Beschreibungssprachen steckten damals noch in den Kinderschuhen und zeigten sich für unsere Zwecke ungeeignet, da viele Funktionalitäten auf die englische Sprache beschränkt sind. Zudem wollten wir vermeiden, große Mengen von Daten in Textdateien nachsehen zu müssen, da dies im Verhältnis zu Datenbanken langsamer ist. Textdateien sind auch dann schlecht zu überblicken, selbst wenn sie einer bestimmten Struktur folgen. Wir haben uns entschieden, ein eigenes System zu entwickeln, da das Expertenwissen auch von Expert*innen eingepflegt werden soll.

Um die Akzeptanz bei den Nutzer*innen zu erhöhen, sollen auch sogenannte Eastereggs eingepflegt werden [3]. Das sind Antworten auf Fragen, die User Chatbots gerne aus Spaß stellen, etwa „Wer bist du?“

Eine in der Informatik häufig auftretende Aufgabe ist es, Wissen darzustellen, zu kommunizieren und zu teilen. Computer benötigen, im Gegensatz zum Menschen, Informationen darüber, welche Begriffe zusammenhängen und wie diese Begriffe zusammenhängen [4].

Im Folgenden stellen wir die angewandten Techniken, mittels denen FragBeLa® von der Frage zur Antwort gelangt und damit Wissen zugänglich macht, vor.

Eine intuitive Form Wissen zu erlangen, ist das Gespräch. In einer Unterhaltung können Fragen und auch Nachfragen gestellt und beantwortet werden. Damit eine Unterhaltung entstehen kann, müssen viele Faktoren erfüllt sein. Die Gesprächspartner*innen müssen dieselbe Sprache sprechen. Voraussetzung ist, dass die Teilnehmenden den Sinn dessen erkennen können, was ihr Gegenüber äußert. Das ist für einen Algorithmus nicht so wie für Menschen möglich. Für den Computer sind Wörter zunächst einmal Strings ohne weitere Bedeutung. Ziel ist es also, den Fragen des Fragestellenden eine dem Computer verständliche Bedeutung zu geben, damit das Programm die Fragen beantworten kann. Menschen sind „fehlertolerant“ und verstehen den Sinn eines Satzes häufig selbst dann noch, wenn durch Störeinflüsse beispielsweise in einem Telefonat oder einer Videokonferenz Wörter fehlen. Beim Lesen können Menschen sogar den Sinn eines Satzes erkennen, wenn nur die Anfangs- und Endbuchstaben der Wörter richtig geschrieben sind. Vertipper oder grammatikalische Fehler entstellen den Sinn von Aussagen nicht derartig, dass ein Mensch sie nicht mehr versteht. Computer sind zwar unglaublich schnell und werden auch immer schneller [5], weswegen sie viele Dinge schneller und besser erledigen können als Menschen, aber Sprache verstehen gehört nicht dazu.

Vertipper können über lange Wortlisten mit den richtigen Schreibweisen abgeschätzt und erkannt werden. Für kurze Wörter ist das nahezu unmöglich. Mund kann Hund oder Mond, am Satzanfang sogar Rund, Wund oder Bund bedeuten. Was hingegen sehr gut von einem Computer erkannt werden kann, sind Verdreher von Buchstaben, wenn also zwei Buchstaben, die auf der Tastatur nebeneinanderliegen, in der falschen Reihenfolge angeschlagen werden. Solche Vertipper behandeln wir bei den automatischen Korrekturen bevorzugt. Dazu berechnen wir den Editierabstand – das ist die Anzahl Ersetzungen, die nötig ist, um von einem Wort zu einem anderen zu gelangen – der falschen zur korrekten Schreibweise mittels der Levenshtein-Distanz. Vertipper haben eine Distanz von zwei zum korrekt geschriebenen Wort. Wörter, bei denen ein Buchstabe fehlt oder ein Buchstabe zu viel getippt wurde, haben eine Distanz von eins. Die korrekt geschriebenen Wörter befinden sich in einer Liste und werden mit der Nutzereingabe abgeglichen. Bei einer Distanz bis einschließlich zwei wird ein falsch geschriebenes Wort automatisch durch das Wort mit der korrekten Schreibweise ersetzt.

Flexionsformen von Wörtern sind für den Computer eine weitere Herausforderung. Unsichere Fragestellende formulieren möglicherweise ihre gesamte Frage im Konjunktiv. Dann muss der Computer immer noch erkennen können, welche Fragestellung gemeint gewesen ist. Hierzu wenden wir die Technik des Stemming [6] an. Das Stemming eliminiert die grammatikalische Beugung der Wörter. Dies geschieht aus Performancegründen jedoch nicht auf die korrekte grammatikalische Stammform. Mithilfe der Stems lassen sich in den in das System eingegebenen Fragestellungen auf einfachere Art Fragen finden, die mit einem bestimmten Thema im Zusammenhang stehen. Schülerin und Schüler werden auf denselben Stem zurückgeführt. Der Stem für Schule lautet aber ebenfalls „schul“.

Zusammengesetzte Wörter stellten uns ebenfalls vor Herausforderungen. Als Beispiel dienen die Fragen rund um die Anmeldung zur Abschlussprüfung, die von Studierenden an BeLa formuliert wurden:

Kontext ist die Anmeldung zur Abschlussprüfung. Wenn „anmelden“ nicht zusammengeschrieben, sondern als „melde … an“ geschrieben wurde, muss das System dennoch erkennen, dass es sich um anmelden und nicht um melden als Verb handelt. Wir führen aktuell eine 134 Einträge zählende Liste mit Präfixen. Kommt das Wort an letzter Position der Frage in der Liste der Präfixe vor, wird versucht, anhand einer weiteren Liste von Verben inklusive Präfixformen und den anderen Wörtern der Frage ein Verb zu finden, das inklusive seines Präfixes existiert. Auf diese Weise wird „melde … an“ zu anmelde und kann fortan in der von den Nutzer*in intendierten Weise genutzt werden, um die Frage zu beantworten. Falls wir zur Abschlussprüfung noch keine Information im System haben, aber mit der Antwort zur Prüfung schon eine zufriedenstellende Antwort geben können, muss unser System erkennen, dass es sich bei einer Abschlussprüfung um eine Prüfung handelt. Dies erreichen wir, indem wir, falls keine Antwort auf die Frage gefunden werden konnte, die Komposita der Frage zerlegen und versuchen so eine Antwort in der FragBeLa®-Datenbank zu finden.

Um eine Nutzerfrage auf ihre charakterisierenden Teile zu reduzieren, führen wir zusätzlich Listen mit Wörtern, die das System ignoriert – wie ich, mich, man, sich – und wir halten für jede Frage die Kombination von Wörtern, die die Frage symbolisieren, vor. Diese nennen wir Feature. Auf diese Weise ist die Satzstellung der Wörter relativ und es können auch Fragen von Personen mit Schwierigkeiten in der deutschen Sprache beantwortet werden. BeLa beantwortet beispielsweise die Frage „Was ich machen muss, wenn krank in EOP?“ korrekt.

Noch besser möglich wird es, eine frei gestellte Frage zu beantworten, wenn zudem „Synonyme“ zu den die Frage symbolisierenden Wörtern, die wir Feature nennen, für das System bekannt sind. Das sind echte Synonyme, aber auch Abkürzungen und solche, von denen wir erwartet haben, dass diese synonym verwendet werden. BeLa beantwortet auch die Frage „Was ist, wenn ich im Eignungs- und Orientierungspraktikum Grippe habe?“, ohne dass die Frage zuvor explizit ins System eingegeben wurde. Die Frage wird über die Synonyme identifiziert und danach die passende Antwort geliefert.

Um Antworten und Fragewege zu speichern, nutzen wir eine Graphdatenbank. Die Anfragesprache Cypher basiert auf ASCII-Art. (https://​neo4j.​com/​developer/​cypher/​) Knoten werden durch (), ungerichtete Relationen durch – –, gerichtete Relationen durch –> oder <–.

WITH [′Informationen′,′LPO–2003′,′Auslaufregelung′,′finde′] AS features MATCH (answer:Answer)<–[:IS_FEATURE]–(fc:FeatureContainer)<–[fis:IS_FEATURE]–(sc:SynonymContainer)–[sis:IS_SYNONYM]–>(f:Feature) WHERE f.featureText IN features WITH answer, size(features) AS inputCnt, count(DISTINCT f) AS cnt WHERE cnt=inputCnt RETURN answer

liefert die Antwort (orange): Informationen zur Auslaufregelung für Lehramtsstudiengänge nach LPO 2003 findest du im LehramtsWikis (Abb. 1).

Zu allen Antworten speichern wir die vermutete Frage sowie den Stem der vermuteten Frage. In Relation dazu werden die Feature, die die Frage charakterisieren, abgelegt und die Synonyme gleichberechtigt angelegt.

Das Verfahren, auf dem BeLa eine Antwort gibt, ist abgestuft. Zunächst wird nach einem Treffer der antizipierten Frage gesucht. Dann kann BeLa bereits antworten. Das ist die schnellste Möglichkeit, an eine Antwort zu kommen und deshalb schlagen wir den Nutzer*innen während der Eingabe Fragen vor, die zu der Eingabe passen. Dazu ist ein Solr-Server angebunden, der mit den Fragen, die BeLa beantworten kann „gefüttert“ wird. BeLa kann Fragen, die nicht auf dieselbe Weise gestellt wurden, wie das Redaktionsteam sie angenommen hat, ebenfalls beantworten. Dazu wird die Nutzereingabe zuerst auf Wortebene tokenisiert, also in die einzelnen Wörter einer Frage zerlegt. Eine Rechtschreibkorrektur wird angewandt. Es gibt Wörter ohne Relevanz für die Beantwortung der Frage. Diese Wörter werden herausgefiltert. Es verbleiben Featurekandidaten, die daraufhin gestemt werden. In der Datenbank wird nun derart gesucht, dass die Antwort mit den meisten Featurestems zurückgeliefert wird.

Die Antwort mit den meisten Feature auszuwählen, ist an zwei Stellen problematisch. Erstens: Wenn die Eingabe kurz ist und keine richtige Frage ist, dann gibt es viele Antwortmöglichkeiten. BeLa antwortet in einem solchen Fall, dass die Eingabe zu kurz war. Künftig soll sie fragen, um welches Thema es sich in der Frage handelt.

Zweitens: Wenn die Frage sehr lang ist, dann gibt es möglicherweise keine Antwort, in deren zugehöriger Frage alle Feature aus der gestellten Frage vorkommen. Wir haben verschiedene Typen dieser längeren Fragen beobachtet. Häufig sind solche Fragen mehrere Fragen in einer. Künftig soll BeLa bei solchen sehr langen Fragen anhand von Schlüsselwörtern erkennen können, ob mehrere Fragen gestellt wurden und diese dann kombiniert beantworten. Manchmal geben die Nutzer*innen Informationen zu sich selbst, die für die eigentliche Frage wenig Informationsgehalt haben. „Ich absolviere im Moment mein Praxissemester und studiere Mathe und ev. Religion für HRSGe im Master. Da ich nun mehrere unterschiedliche Meinungen gehört habe und mir nicht mehr sicher bin, wollte ich mich einmal offiziell über die Anmeldung der Studienprojekte informieren. In welchem Portal muss ich mich bezüglich der Studienprojekte anmelden?“ Ein solches Frageverhalten ist unproblematisch, wenn die Feature nicht in der Datenbank vorkommen. „Was ist, wenn ich im EOP krank und abgeschlagen bin?“ wird wie „Was ist, wenn ich im EOP krank bin?“ beantwortet. Wenn die Frage aber für die eigentliche Frage nicht relevante Informationen enthält, die in der Datenbank abgebildet sind, dann kann es sein, dass BeLa zu einer Frage, auf die sie eine gute Antwort hätte, eine schlechte Antwort gibt.

Es handelt sich bei BeLa nicht um eine zentrale, sondern eine verteilte Anwendung, deren Architektur auf der Verknüpfung verschiedener Anwendungen basiert. Es gibt einen Solr-Server, einen Apache2, die neo4j-Datenbank und einen Tomcat. Die zentrale Anwendung läuft auf dem Tomcat als Java-Webanwendung und bietet dort eine API an, die von anderen Websites genutzt werden kann, um Fragen an BeLa zu schicken, ihre Antworten zu erhalten und dann den User*innen darzustellen.

BeLa wird über eine RestAPI angesprochen und kann auf diese Weise Antworten für verschiedene Anwendungen liefern. Sie ist auf der Website des ZLB und im LehramtsWiki eingebunden. Eine eigene APP ist ebenso denkbar wie die Integration in Smartphone-Apps. Über die API kann auch angegeben werden von wo die Anfrage kam, um auf diese Weise Kontextwissen für BeLa bereitzustellen. Auf den beiden Websites laufen JavaScript-Anwendungen, die BeLa ein Userinterface geben, die Anfragen an die API schicken und die Antworten anzeigen. Die Anwendung sieht dort aus wie ein Chat in einem Messenger.

Als Einstiegspunkt dient auf der ZLB-Website der Avatar von BeLa, da ein Großteil der Nutzer*innen die Eule BeLa bereits aus anderen Kontexten (Social-Media-Auftritte des ZLB und LehramtsWiki) kennt. Auf der LehramtsWiki-Website kann mit BeLa über eine Sprechblase Kontakt aufgenommen werden. Avatare, die auf Comicfiguren von Tieren basieren, werden von Nutzer*innen gut wiedererkannt und verkörpern eine sympathische und freundliche Ansprechperson [7]. Es ist darüber hinaus wichtig, dass der Bot eine Persönlichkeit bekommt ([8]; Abb. 2).

Eine erste Testphase fand im Zeitraum Oktober bis Dezember 2018 mit Lehramtsstudierenden und Kolleg*innen des ZLB, des Akademischen Beratungszentrums (ABZ) und des Zentrums für Informations- und Mediendienste (ZIM) statt. Hierzu wurde ein standardisierter Fragebogen, bei dem die Testpersonen die Möglichkeit hatten, neben vorgegebenen Szenarien auch eigene Szenarien zu testen und die oben genannten Eastereggs aufzulisten, eingesetzt. Die Resonanz auf den Prototyp war bereits positiv. Die befragten Studierenden regten an, das Userinterface dem Aussehen bekannter Chats wie Telegram oder Whatsapp anzupassen. Eine weitere Evaluierung wurde mit einer Studierendengruppe Ende 2019 durchgeführt. Im Rahmen eines Workshops bei der Tagung #ZukunftBeratung des Zentrums für LehrerInnenbildung (ZfL) Köln am 24. September 2020 stellte das Autorenteam BeLa Berater*innen an Universitäten, Lehrer*innen und Studierenden vor. Die Teilnehmenden testeten im Praxisteil der Präsentation FragBeLa® anhand von vorbereiteten Szenarien. Alle Tests zeigen, dass zu den vorhandenen Themenfeldern wie Praxissemester und EOP noch viel mehr Fragen gestellt werden, als wir im Vorfeld antizipiert haben. Weitere Evaluationen folgen, sobald neue Themenbereiche eingefügt sind.

Zur Qualitätsverbesserung werden die Fragen der Nutzer*innen ohne Personenbezug mitgeschnitten. Das Fragenlog wird vom Redaktionsteam regelmäßig auf neue Fragen hin untersucht und es wird überprüft, ob BeLa richtig antwortet. Wenn BeLa „sinnvolle“ Fragen nicht beantworten kann, dann wird die Antwort ins System aufgenommen. Sehr viele Fragen kann BeLa jedoch beantworten, ohne dass diese explizit eingepflegt worden sind, weil die vorher beschriebenen Techniken greifen. Die Auswertungen der Mitschnitte zeigen sehr häufig Tipp‑/Schreibfehler und auch grammatikalische Unzulänglichkeiten. Fragen dieser Art kann das System wegen der getroffenen Vorüberlegungen dennoch beantworten. Auf diese Weise kann (zumindest in Teilen) der Eindruck eines echten Gesprächs vor einem Nachschlagewerk für FAQ überwiegen.

An den Mitschnitten lässt sich auch erkennen, dass das Frageverhalten sehr unterschiedlich ist, es reicht vom Eingeben eines oder zweier Stichworte bis hin zu ganzen Sätzen mit förmlicher Anrede. Seit Mitte Dezember 2019 stellten die User*innen BeLa 4708 verschiedene Fragen, häufig zu den Praxisphasen und Studienprojekten, zum Sprachassessment SkaLa, zu Beratungen und aktuell zu Corona. Häufig wird sie auch nach dem Wetter oder einem Witz, also Easteregg, gefragt. Es werden auch Fragen gestellt, auf die BeLa bislang noch nicht antworten kann. Dies sind Fragen nach Öffnungszeiten von Einrichtungen, Zeitpunkten von Prüfungen, von Studieninteressierten und zur Digitalisierung. Es wird auch nach Abschlussarbeiten gefragt und Fragen zur Eignung zum Lehrerberuf gestellt. Darüber hinaus wird nach Personen, Kontaktdaten und Telefonnummern gesucht. Ein Viertel aller Fragen an FragBeLa® werden außerhalb der üblichen Bürozeiten von 17:00 Uhr bis um 08:00 Uhr gestellt. Seit Dezember 2020 ist BeLa auf der Startseite des LehramtsWikis und auf jeden der 469 Wiki-Artikel eingebunden.

Die Fragen der Nutzer*innen werden ausgewertet und in BeLa eingepflegt. Daneben werden FAQs redaktionell überarbeitet, Feature/Stichworte, Synonyme und Themengebiete identifiziert und Antworten klassifiziert. Das Wissen soll um das Themenfeld Studieninteressierte ausgeweitet werden.

Die „Fütter-Vorgänge“ sind noch zeitintensiv und aufwendig. Die Datenhaltung findet in einer Excel-Datei statt, die in die Graphdatenbank importiert wird. Bei jeder neu hinzukommenden Frage muss die gesamte Excel-Datei importiert werden. Um diesen Prozess zu vereinfachen und auch anderen Wissenden an der Universität die Möglichkeit zu geben, ihr Wissen mit BeLa zu teilen, wird eine Wissenseingabemaske entworfen, die Schritt für Schritt durch den Eingabeprozess leiten soll.

FragBeLa® soll in die MyUDE-App des ZIM integriert werden. Über die App haben Studierende der UDE unter anderem Zugriff auf ihren Stundenplan, Prüfungsanmeldungen, Bibliotheksfunktionen und vieles mehr. Die technische Möglichkeit wurde durch eine Schnittstelle geschaffen, sodass FragBeLa® in Websites und Smartphone-Apps eingebunden werden kann.

FragBeLa® soll so programmiert werden, dass BeLa kontextbezogen antworten kann. Aktuell ist für BeLa jede Frage eine Einzelfrage ohne Bezug zu vorherigen Fragen. BeLa soll Fragen, die ihr gestellt werden, verstehen und auf Folgefragen antworten können. Dazu muss die Darstellung des Wissens in der Datenbank das natürliche Sprachverhalten von Menschen besser abbilden.

Seit dem offiziellen Start im April 2020 [9] gibt es Anfragen von interessierten NRW-Universitäten zur Einrichtung und Vorstellung eines solchen Tools. Mit den Kolleg*innen der Beratungseinrichtungen soll ausgewertet werden, wie sich Beratung durch den Einsatz von FragBeLa® verändert (hat).

Wir halten Chatbots für geeignet, Studierenden 24/7, außerhalb von Öffnungs- und Sprechstundenzeiten, sowie ortsunabhängig zu helfen, die gesuchten Informationen gezielt und schnell zu finden [10]. Wir sehen, dass Chatbots einen Beitrag leisten können, Standardfragen zu beantworten und somit Berater*innen zu entlasten. Gerade in schwierigen Situationen schätzen viele Ratsuchende ein vertrauliches Gespräch und einen anderen Menschen, der ihnen zuhört und individuell auf sie eingeht. Dies kann kein Chatbot so leisten wie ein Mensch. Die menschliche Studienberatung soll der Chatbot FragBeLa® nicht ersetzen, sondern vielmehr sollen die Beratenden von der Beantwortung von Standardfragen entlastet werden und somit mehr Zeit für Anliegen, die über Standardfragen hinausgehen, haben [11]. Somit bieten Chatbots einen Mehrwert für die Studierenden und die Universität.