Skip to main content
Top

Open Access 23-09-2024 | HAUPTBEITRAG

Von der Analyse zur adaptiven Unterstützung beim Lesen

Authors: Niels Seidel, Dennis Menze

Published in: Informatik Spektrum

Activate our intelligent search to find suitable subject content or patents.

search-config
loading …

Zusammenfassung

Lesen eröffnet in allem Bildungsbereichen einen zentralen Zugang zu Wissen. In diesem Beitrag wird der Einsatz verschiedener Verfahren der künstlichen Intelligenz in einer Anwendung beschrieben, die Studierende beim Lesen längerer Studientexte innerhalb eines Lernmanagementsystems unterstützt. Diese Lernumgebung erfüllt zwei wichtige Funktionen für den Einsatz von KI in der Hochschulbildung: Erstens sammelt sie umfangreiche Daten zu rezeptiven und produktiven Lernprozessen und ermöglicht so umfassende Analysen durch Data-Mining-Verfahren. Diese Erkenntnisse können in die Bewertung des Lernverhaltens, der Lehrstrategien und Gestaltungsentscheidungen der Lernumgebung einfließen. Zweitens integriert sie KI-Tools wie adaptive Visualisierungen, Leseverständnistests und Empfehlungssysteme, die Studierende bei der Auseinandersetzung mit dem Text unterstützen.
Notes

Hinweis des Verlags

Der Verlag bleibt in Hinblick auf geografische Zuordnungen und Gebietsbezeichnungen in veröffentlichten Karten und Institutsadressen neutral.

Einleitung

Studientexte wie Lehrbücher oder wissenschaftliche Artikel sind noch immer zentrale Unterrichtsmaterialien in Schulen und Hochschulen. Gleichzeitig verlagern Bildungseinrichtungen zunehmend Unterrichtsaspekte ins Web und bieten digitale Versionen dieser Texte an. Die Fähigkeit, Wissen aus Texten zu erwerben, bleibt jedoch entscheidend für den Lernerfolg Studierender [1], ob elektronisch oder gedruckt [24]. Jüngste deutsche PISA-Ergebnisse (OECD) [5] zeigen jedoch Defizite in der Lesekompetenz von Neuntklässlern. Hochschultexte sind im Vergleich zu PISA-Leseaufgaben wegen komplexer Fachsprache und akademischer Ausdrucksweise schwieriger zu verstehen. Daher fragen wir, wie Bildungstechnologien das Lernen mit Texten unterstützen und verbessern können. KI ist dabei ein Teil der Antwort.
In diesem Beitrag beschreiben wir den Einsatz verschiedener KI-Verfahren anhand einer Anwendung, die Studierenden die Lektüre von Studientexten in einem Lernmanagementsystem (LMS) ermöglicht und sie beim Lernen unterstützt. An diesem Beispiel soll verdeutlicht werden, dass KI dazu beiträgt, Lernprozesse besser zu verstehen und adaptive Unterstützung bereitzustellen.
Im nachfolgenden Abschnitt wird das Moodle-Plugin Longpage vorgestellt, das die Grundlage unserer Forschung bildet. Anschließend beschreiben wir Methoden zur Analyse von Leseaktivitäten und fassen Ergebnisse ausgewählter Studien zusammen. Danach stellen wir die in Longpage integrierten, KI-basierten Werkzeuge zur adaptiven Unterstützung des Lesens vor. Der Beitrag schließt mit einem Fazit und Bedingungen für die erfolgreiche Entwicklung und den Einsatz von KI in der Bildung.

Longpage als Lernumgebung für das individuelle und gemeinsame Lesen

Lerninhalte werden heute auf unterschiedliche Weise medial repräsentiert. Im Gegensatz zu Präsentationsfolien und Videos zählt die Textform zu den traditionellen Medien der Wissensrepräsentation an Hochschulen. Diese Studientexte haben vielfältige Gestaltungsformen und Formate. Im Folgenden verstehen wir unter Studientexten jedoch längere, durch Kapitel und Abschnitte strukturierte und teils durch andere nichtdynamische Medien angereicherte Lernmaterialien wie Vorlesungsskripte, oder Lehrbücher.
Innerhalb von LMS spielen Studientexte trotz ihrer Bedeutung eine untergeordnete Rolle. PDF-Dateien und HTML-Seiten sind verbreitet, bieten aber wenig Mehrwert für das Lesen digitaler Texte, insbesondere im Vergleich zu spezialisierten E‑Book-Anwendungen wie Perusall [6]. PDFs im LMS darzustellen und annotierbar zu machen [7], bleibt eine Notlösung wegen des Medienbruchs und der eingeschränkten Nutzbarkeit auf mobilen Geräten. Probleme bestehen zudem mit Verweisen auf Elemente im Text und dem Erfassen von Nutzeraktivitäten im Dokument.
Das Moodle-Plugin Longpage unterstützt das Lesen von umfangreichen Studientexten (40–80 Seiten). In einem lesefreundlichen Design [8] wurden Instrumente bereitgestellt, um die Navigation und Orientierung im Text zu erleichtern. So wurden bspw. ein Inhaltsverzeichnis, individuelle Lesezeichen, Querverweise und eine Volltextsuche integriert. Zur Unterstützung des selbstregulierten Lernens können Textstellen farblich hervorgehoben und persönliche Anmerkungen im Text verankert werden. Für die bessere Planung von Leseaktivitäten wird unter jeder Abschnittsüberschrift die geschätzte Zeitdauer eingeblendet. Es wurden zudem Links in die Texte eingebunden, die auf Übungsaufgaben in Form von Self-Assessments [9] in Moodle verweisen. In den gedruckten Studientexten wurden diese Links als QR-Code dargestellt und verweisen jeweils auf die Aufgabe im aktuellsten Moodle-Kurs dieser Lehrveranstaltung [10].
Longpage unterstützt auch das gemeinsame Lesen (Co-Reading [11]), wobei Studierende und Lehrende öffentlich sichtbare Kommentare verfassen und beantworten können. Für den Import von Studientexten aus Open-Document-Format, MS Word und LaTeX steht ein HTML-Konverter zur Verfügung. Ein weiterer Konverter erzeugt SSML-Dateien für die automatische Vertonung [12, 13].
Seit dem Wintersemester 2019/20 wird Longpage an der FernUniversität in Hagen eingesetzt und als Open Source Software weiterentwickelt ([14]; Abb. 1).

Analyse des Leseverhaltens

Unter Learning Analytics versteht man die Messung, Sammlung, Analyse und Berichterstattung von Daten über Lernende und ihre Kontexte, um das Lernen und die Lernumgebungen zu verstehen und zu verbessern. Bezogen auf Lernumgebungen, die primär aus textbasierten Lernmedien bestehen, bezieht sich die Messung, Sammlung, Analyse und Berichterstattung auf Daten, die Lernende beim Lesen und der Nutzung des Textes erzeugen. Das Ziel besteht darin, mithilfe dieser Daten das Lernen mit Texten und die dafür eingesetzten Lernumgebungen und textbasierten Lernmaterialien zu verbessern. Man kann somit Reading Analytics als eine spezielle Form von Learning Analytics bezeichnen. Ähnlich wie Videos werden Texte in der Regel linear rezipiert, wodurch ein kontinuierlicher Strom von Informationen von den Lesenden verarbeitet und gleichzeitig das Leseverhalten durch Reading-Analytics-Methoden erfasst werden kann.
In diesem Abschnitt werden Methoden zur Messung und Sammlung von Daten beim Lesen und Lernen in Lernumgebungen beschrieben. Dazu nutzen wir Daten, die in Longpage im Wintersemester 2021/22 im Bachelormodul eines Informatikstudiengangs mit 142 freiwilligen Teilnehmenden erhoben wurden. Diese Daten veranschaulichen Leseaktivitäten, -verhalten und -sitzungen und zeigen das Zusammenspiel von Lese- und Assessmentaktivitäten.

Erfassen von Events

Um Nutzungsdaten über das Leseverhalten der Nutzer zu erfassen, wurde die in Webbrowsern verfügbare Intersection Observer API verwendet. Der zu lesende Text wurde in Bestandteile wie Absätze und Überschriften aufgeteilt und jeweils als ein HTML-Element mit einer eindeutigen Kennung versehen. Sobald 0 %, 25 %, 50 %, 75 % oder 100 % eines HTML-Elements auf dem Display erscheinen, erfolgt ein Logeintrag. Da ein Element nicht den gesamten Bildschirm ausfüllt, können mehrere Elemente gleichzeitig sichtbar sein. Außerdem wurden Klicks mit weiteren Funktionen des Plugins geloggt.

Leseaktivitäten, Leseverhalten und Sitzungen

Ausgehend von den erfassten Events lässt sich abschätzen, ob die Anzeigedauer eines Elements ausreichend lang war, um den darin enthaltenen Text zu lesen. Für diese Abschätzung muss die Annahme getroffen werden, dass die Lesbarkeit [15] des Textes sowie die individuelle Leseleistung (gelesene Wörter pro Minute) einem für die deutsche Sprache empirisch ermittelten Mittelwert von 200 plus einer Standardabweichung von 50 entspricht. Durch diesen, als Minimale Lesezeit definierten Wert lassen sich Leseaktivitäten wie Lesen, Überfliegen und Suchen anhand von experimentell ermittelten Schwellwerten unterscheiden. Ein Element gilt als gelesen, wenn es mindestens so lang angezeigt wurde, wie es aufgrund der Minimalen Lesezeit erforderlich wäre, um den im Element enthaltenen Text zu lesen. Beim Überfliegen eines Textes beträgt die Anzeigedauer eines Elements zwischen 25 und 100 % der Minimalen Lesezeit. Beträgt die Anzeigedauer weniger als 25 % wird von einer Suche ausgegangen.
Betrachtet man nun eine Sequenz von Leseaktivitäten, so lässt sich innerhalb eines Betrachtungszeitraums feststellen, welche Leseaktivität überwiegt oder welche Leseaktivitäten in einer bestimmten Reihenfolge auftreten. Diese wiederkehrenden Sequenzen von Leseaktivitäten beschreiben das Verhalten beim Lesen. In Bezug auf den Studientext lässt sich bestimmen, wie häufig Abschnitte rezipiert wurden.
Eine Sitzung ist definiert durch eine kontinuierliche Folge von aufeinanderfolgenden Events, die sich auf die Lernaktivitäten eines Benutzers beziehen, deren zeitlicher Abstand weniger als 45 min beträgt [16]. Während in einer Sitzung unterschiedliche Lernaktivitäten vorkommen, bezieht sich eine Lesesitzung nur auf Events innerhalb der für das Lesen vorgesehenen Lernumgebung.
Abb. 2 zeigt einen Ausschnitt einer Lesesitzung, die den Beginn und das Ende von Lesesitzungen im Vergleich zu kürzeren Aktivitätspausen anzeigt.

Zusammenspiel von Lesen und Assessments

Der Erwerb von Wissen durch Lesen und Quizfragen ist eine grundlegende Aktivität beim Online-Lernen. Quizze als formative Assessments helfen Lernenden, Lücken in ihrem Wissen zu erkennen und diese durch Lesen der entsprechenden Studientexte zu schließen. Umgekehrt können Quizze auch zur Bewertung des Leseverständnisses genutzt werden. Lehrende investieren viel Zeit in die Erstellung passender Quizfragen zu den Studientexten. Das Zusammenspiel von Lese- und Quizaktivitäten und die daraus resultierenden sequenziellen Muster wurden von uns mittels Learning Analytics analysiert [17].
Bei Quizfragen werden Events wie der Beginn eines Lösungsversuchs, die Abgabe der Lösung und Wiederholungsversuche in den Logs des LMS erfasst. Die Leseaktivitäten wurden durch Scrollbewegungen ermittelt. Um Verhaltensweisen zu erkennen, wurden Sequenzen von Events innerhalb einzelner Sitzungen betrachtet.
Die Dauer der Lesesitzungen wurden zunächst anhand von Terzilen in drei Intervalle (0, 1] < (1, 5] < (5, 60] Minuten unterteilt. Aus diesen Aktivitäten und Sitzungen wurden dann die Events, die in Tab. 1 dargestellt sind, abgeleitet.
Tab. 1
Definition der Lese- und Quiz-Events innerhalb einer Sitzung
Event
Beschreibung
N
Reading_start
Erstes Scroll-Event auf der Seite nach mindestens 10 min. ohne Scroll-Events
987
Reading_short
< 1 min. Zeitfenster von Scroll-Events auf bestimmter Textseite
576
Reading_medium
1–5 min. Zeitfenster von Scroll-Events auf einer bestimmten Textseite
266
Reading_long
> 5 min. Zeitfenster für Scroll-Events auf einer bestimmten Textseite
355
Reading_pause
< 5 min. Pause ohne Scroll-Events auf einer bestimmten Textseite
210
Reading_continue
Erstes Scroll-Events nach Pause auf einer bestimmten Textseite
210
Reading_end
> 10 min. Pause ohne Scroll-Events auf einer bestimmten Textseite
987
Quiz_start
Erster Zeitpunkt des Öffnens eines bestimmten Quiz
2785
Quiz_repeat_same
Wiederholter Versuch desselben Quiz nach Erfolg oder Misserfolg
567
Quiz_repeat_other
Wiederholter Versuch eines Quiz, der nichts mit dem letzten Erfolg oder Misserfolg zu tun hat
313
Quiz_success
Eine Lösung eingereicht, die zu mehr als 80 % richtig ist (vgl. [18])
1473
Quiz_fail
Eine Lösung eingereicht, die zu weniger als oder gleich 80 % richtig ist
1350
Um weitere Einblicke in gemeinsame Muster von Nutzersitzungen zu gewinnen, können verschiedene Methoden verwendet werden: Trace- oder Profil-Clustering [19, 20], wobei ein Trace oder Profil der Vektor der Häufigkeit von Events pro Sitzung sein kann, oder der sogenannte hypothesengesteuerte Ansatz von [21], bei dem Muster durch die Kennzeichnung von Teilsequenzen von Aktivitäten gefunden werden. Letzterer wurde in dieser Studie verwendet. Da es kein Vorwissen darüber gibt, wie der Datensatz am besten zu clustern ist, wurde die unüberwachte Methode k‑means verwendet, um die Benutzersitzungen anhand ihrer Eigenschaften zu clustern. Die Anzahl der Cluster wurde durch den distortion score und den silhouette score bestimmt [22].
Jedes Cluster wurde zudem danach klassifiziert, ob es hauptsächlich Quizaktivitäten oder Leseaktivitäten oder beides enthielt. Anschließend wurden für jedes Cluster die Sitzungen als Markov-Kette visualisiert. Diese Methode identifiziert Zustandsübergänge zwischen Zustandspaaren A,B oberhalb einer definierten Abhängigkeitsschwelle.
Die Analyse ergab eine Anzahl von 6 Clustern als bestes Ergebnis (Silhouette-Score = 0,89, Distortion-Score = 111,63). Die Sequenzen von Aktivitäten in jedem Cluster wurden weiter danach klassifiziert, ob sie hauptsächlich Quizaktivitäten (SC1, SC3 und SC 4) oder Leseaktivitäten (SC2 und SC 6) oder beides (SC5) enthalten. Die Cluster repräsentieren zwischen 94 und 394 Sitzungen. Die von den einzelnen Clustern abgedeckten Sitzungen wurden von einem erheblichen Teil der Lernenden durchgeführt (23,9–66,9 %). Die Zustandsübergänge zwischen den Aktivitäten sind in Abb. 3 dargestellt. Die im Folgenden nicht näher betrachteten Session Cluster SC1, SC3 und SC4 sind in [23] beschrieben.
Reine Leseaktivitäten sind Teil von SC2. Jeweils ein Fünftel beginnt mit dem Lesen für eine lange und eine mittlere Zeitdauer. Etwa 60 % lesen nur für kurze Zeit. Da die Lernenden ihre Leseaktivitäten nicht durch Pausen, eine andere Lerneinheit oder Quizze unterbrechen, deuten die in den Sitzungen in SC2 gezeigten Aktivitäten auf ein gezieltes und bewusstes Verhalten hin, was ungefähr die Hälfte der Studierenden gezeigt hat.
SC5 bezieht sich auf Lese- und Quizaktivitäten, wobei fast alle Sitzungen (95 %) mit Lesen beginnen. Quizversuche werden nach dem Ende des Lesens (15 %) oder während des langen Lesens (27 %) oder einer Lesepause (12 %) unternommen. 38 % der Versuche sind erfolgreich und bei 39 % davon folgt ein weiterer Versuch. 16 % lesen den zuvor verwendeten Text weiter, während 34 % nach dem erfolgreichen Abschluss eines Quiz einen anderen Text wählen. SC5 zeichnet sich durch eine starke Interaktion von Lese- und Quizaktivitäten aus.
SC6 beschreibt Leseaktivitäten mit Übergängen zwischen kurzen, mittleren und langen Lesephasen nach einer Lesepause. Lesepausen folgen zu 29 % auf die langen und zu 14 % auf die kurzen Lesephasen. Nach einer Lesepause wird jeweils zu einem Drittel kurz, mittel und länger weitergelesen. Die in diesem Sitzungscluster zusammengefassten Benutzersitzungen sind durch das Lesen mehrerer Studientexte innerhalb einer Sitzung gekennzeichnet.

Adaptive Unterstützung beim Lesen

Nach der Betrachtung von Methoden des Reading Analytics werden nun Anwendungen in Longpage beschrieben, die durch adaptive Personalisierung das Lesen und Lernen unterstützen.

Leseverständnis

Das Leseverständnis ist für den Lernerfolg von entscheidender Bedeutung. In der digital unterstützten Lehre kann Leseverständnis während des Lesens direkt gemessen werden, um Lernende durch zeitnahes Feedback bei der Verbesserung des Verständnisses zu unterstützen. Unterschiedliche Aufgabentypen wie Multiple-Choice, Lückentexte, Essays oder Konzeptlandkarten wurden in der Forschung für diesen Zweck untersucht. Offen ist sowohl, wie eine Unterstützung konkret gestaltet sein sollte, als auch, welche Aufgabentypen und Fragestellungen hierbei eine möglichst hohe Stufe von Leseverständnis fördern.
Basierend auf unseren früheren Arbeiten [17], die Multiple-Choice-Aufgaben zur Leseverständnisunterstützung erprobten (Abb. 4), haben wir Konzeptlandkarten als einen neuen Aufgabentyp entwickelt, in dem fehlende Begriffe und Verknüpfungen zu vervollständigen sind (Abb. 5).
Bei einer typischen Konzeptlandkartenaufgabe muss die Konzeptlandkarte so ausgefüllt werden, dass die im angrenzenden Text enthaltenen Konzepte und deren Verknüpfungen korrekt wiedergegeben werden (ähnlich wie bei [24]). Zu diesem Zweck erstellt die Lehrkraft in einem Editor eine vollständige Konzeptlandkarte als Musterlösung und eine teilweise vervollständigte Konzeptlandkarte als Ausgangspunkt, aus der automatisch eine Drag-and-Drop-Aufgabe generiert wird.
Die Effektivität einer Unterstützung des Leseverständnisses wurde von sechs Gruppen anhand zweier Studientexte jeweils für Konzeptlandkarten‑, Multiple-Choice- und ohne Leseverständnis-Aufgaben verglichen (N = 149). Die Ergebnisse zeigten positive Lerneffekte, aber bei einem Text schnitt die Gruppe mit Konzeptlandkarten-Aufgaben im Nachtest und in einer Nachuntersuchung nach einer Woche am besten ab. Eine Analyse des Wissensverlusts in der Nachuntersuchung zeigte, dass der andere Text besser behalten wurde: Ein um 6,27 % höherer Zugewinn deutet darauf hin, dass die Verwendung von Aufgaben mit Konzeptlandkarten zu einer stabileren Erinnerung an den gelernten Inhalt führen kann.
Nicht für jeden Textabschnitt lässt sich jedoch eine sinnvolle Konzeptlandkartenaufgabe erstellen, vor allem, wenn der Text kaum darstellbare Querverbindungen enthält. Dann eignen sich eher Multiple-Choice-Aufgaben, mit denen noch einfaches Faktenwissen abgefragt werden kann.
Der nächste Schritt ist die Nutzung von LLM- oder NLP-Verfahren zur automatischen Generierung von Fragen und Aufgaben auf verschiedenen Leseverständnisstufen, die von Lehrenden angepasst werden können [25]. Erste Ansätze haben wir mit einem Generative Pretrained Transformer (GPT) umgesetzt [26]. Fünf Lehrbuchkapitel wurden automatisch zusammengefasst und mithilfe von GPT‑2 in Multiple-True-False-Aufgaben umgewandelt. Bei der Evaluation wurde nur ein Drittel der generierten Falschaussagen als grammatikalisch korrekt und inhaltlich plausibel eingestuft.

Lesefortschritt

Beim Lesen digitaler Studientexte im Hochschulkontext ergeben sich spezifische Probleme aufgrund der Eigenheiten digitaler Texte und der Art und Weise, wie Lernende mit langen Texten über längere Zeiträume interagieren. Lange Texte erfordern eine erhöhte Konzentration und Durchhaltevermögen beim Lesen, wobei digitale Texte bei vergleichbarem Leseverständnis schneller rezipiert werden als Texte auf Papier [27]. Die Rezeption umfangreicher Lerninhalte über einen langen Zeitraum (bspw. ein Semester) hinweg kann dazu führen, dass Lernende den Überblick über bereits gelesene Inhalte verlieren. Es kann schwierig sein, den Lesefortschritt effektiv zu verfolgen und sich an früher gelesene Informationen zu erinnern. Um akademische Texte zu verstehen oder sich einzuprägen, ist es oft notwendig, Texte mehrfach zu lesen. Folglich muss man neben dem Lesefortschritt auch die Lesehäufigkeit und den letzten Zugriff auf den Text berücksichtigen. Die Identifikation von Schlüsselstellen, die für das Verständnis besonders wichtig sind oder häufig von Lernenden gelesen werden, ist in digitalen Texten ohne spezielle Analysetools kaum möglich. Dies erschwert es Lehrenden, den Lese- und somit auch Lernfortschritt zu überblicken und gezielte Unterstützung anzubieten.
Um das Lesen als effektive Lernmethode in Longpage zu fördern, wird das bisherige Leseverhalten der Lernenden visuell dargestellt und hinsichtlich einiger Darstellungsparameter adaptiv angepasst. Der Lesefortschritt wird Lernenden unmittelbar rechts neben dem Text als Balken angezeigt (Abb. 5). Die Breite des Balkens gibt die Häufigkeit der als Lesen klassifizierten Lernaktivitäten an. Die Farbe des Balkens signalisiert gelesene Abschnitte in hellblau und solche, für die darüber hinaus das Leseverständnis erfolgreich getestet wurde, in grün. Beim Anklicken des Balkens erscheinen Angaben zu Lesehäufigkeit und Leseverständnis.
Auf eine Gegenüberstellung des eigenen Leseverhaltens mit dem kumulierten Verhalten der gesamten Kohorte bzw. den Lernenden, die ähnlich lange im Kurs aktiv sind, wurde verzichtet, da es für die Lesehäufigkeit von Textabschnitten – ähnlich wie bei Interaktionsmustern in Lernvideos [28] – unterschiedliche Erklärungen geben kann. Die Ursache für die häufige Rezeption eines Abschnitts kann beispielsweise darin begründet sein, dass die Textstelle schwer zu verstehen ist, sie eine häufig benötigte Definition (z. B. eine Formel) enthält, sie das Ziel eines Links darstellt oder dort ein Abschnitt beginnt, der über das Inhaltsverzeichnis oft aufgerufen wird.

Empfehlung von relevanten Kommentaren

Longpage verfügt über eine Kommentarfunktion, die es den Studierenden und Lehrenden in einem Moodle-Kurs ermöglicht, Diskussionen an bestimmten Textstellen zu führen. In Lehrveranstaltungen mit vielen Studierenden ergeben sich im Verlauf eines Semesters viele Kommentare und Diskussionen. Die Menge an Kommentaren soll Lernende jedoch nicht von der Lektüre des Textes ablenken. In Abhängigkeit vom Lese- und Lernfortschritt haben die Kommentare eine unterschiedliche Relevanz für den Lernenden. So kann sich ein Kommentar beispielsweise auf einen Teil des Textes beziehen, welchen die oder der jeweilige Nutzende noch nicht gelesen hat. Möglicherweise fehlt Wissen, welches noch aus dem Text gewonnen werden muss, um die Anmerkung zu verstehen. Ein Kommentar verliert an Relevanz, wenn er bereits verinnerlicht wurde. Es stellt sich die Frage, wie für Lernende die für sie relevanten Kommentare angezeigt werden können, sodass das System für eine große Anzahl von Lernenden und Kommentaren skaliert.
Grundlegend haben Lernende die Möglichkeit, Kommentare oder genauer Beiträge in Threads nach Kriterien wie Relevanz oder Neuheit zu sortieren. Während Neuheit die letzte Änderung eines Beitrags betrifft, wird die Relevanz basierend auf Nutzungsdaten und Heuristiken automatisch bestimmt. Dazu dient ein sogenanntes Empfehlungssystem (engl. „recommender system“), in unserem Fall mit einem gewichteten, parallelisierten und hybriden Ansatz. In diesem werden verschiedene Empfehlungssysteme parallel genutzt und deren Ergebnisse anschließend durch gewichtetes Summieren aggregiert [29]. Zur Ermittlung relevanter Kommentare wurde elementbasiertes, kollaboratives Filtern als primäres Empfehlungssystem genutzt. Kollaboratives Filtern basiert auf der Annahme, dass eine Menge von Personen, deren Präferenzen in der Vergangenheit ähnlich waren, zukünftig ähnliche Präferenzen haben werden. Präferenzen für einen Kommentar können als explizite Bewertungen durch Likes, Abonnement, Markierung oder eine Antwort ausgedrückt werden. Da in der Regel wenige explizite Bewertungen vergeben werden und somit die Qualität des Empfehlungssystems abnehmen würde, werden zusätzlich implizite Bewertungen durch Lesen eines Kommentars in die Berechnung einbezogen. Zur Bestimmung der Ähnlichkeit zweier Kommentare wird die Kosinus-Ähnlichkeit der Bewertungen bestimmt, sofern mindestens drei Nutzende für beide Kommentare Bewertungen abgegeben haben. Zur Bestimmung der Relevanz eines Kommentars k für einen Nutzenden n wird die Summe der Kosinus-Ähnlichkeiten von k und allen anderen Kommentaren mit der Bewertung von k durch Nutzer n durch die Summe aller Ähnlichkeiten zwischen k und allen anderen Kommentaren geteilt. Um dem Kaltstartproblem vorzubeugen und die Relevanz neuer Kommentare im kollaborativen Filtern zu steigern, wird die relative Zahl der Teilnehmenden eines Kurses, welche eine Anmerkung noch nicht gelesen haben, in die Berechnung der Relevanz einbezogen.

Empfehlung ähnlicher Studientexte in anderen Lehrveranstaltungen

Studientexte enthalten Verweise auf Literatur oder Textstellen in anderen Abschnitten. Explizite Querbeziehungen zu anderen Lehrveranstaltungen sind selten, da sie für die Autoren aufwendig zu identifizieren und zu aktualisieren sind. Studientexte bauen auf Wissen aus anderen Lehrveranstaltungen auf und vermitteln Vorwissen, das in anderen Kursen genutzt wird. Diese impliziten Querbeziehungen sind für Lernende nicht sichtbar, wenn es darum geht, Wissen gezielt aufzufrischen oder weiterführende Veranstaltungen zu identifizieren.
Voraussetzung für die Identifikation solcher Querbeziehungen sind Informationen darüber, welche Lehrveranstaltungen oder Studientexte einander ähnlich sind. Wir haben einen Korpus der 572 Studientexte von 94 Lehrveranstaltungen erstellt [30], die an der Fakultät für Mathematik und Informatik der FernUniversität in Hagen angeboten werden. Die Studientexte wurden als „document embeddings“ [31] vektorisiert, um die Ähnlichkeit der Texte anhand der Kosinus-Ähnlichkeit von Vektoren bestimmen zu können. Die resultierende Ähnlichkeitsmatrix diente als Grundlage weiterer Anwendungen [32], darunter ein in Longpage integriertes Empfehlungssystem für Verweise auf ähnliche Studientexte in Abhängigkeit bereits absolvierter Lehrveranstaltungen.

Schlussfolgerungen und Erfahrungen

In diesem Beitrag wurde Longpage als ein Beispiel für einen Bestandteil eines typischen LMS vorgestellt. Die Intention zur Entwicklung dieses Plugins bestand darin, das Lesen längerer Studientexte zu ermöglichen und die Auseinandersetzung mit dem Text durch reichhaltige Interaktionen zu unterstützen. Die in Longpage realisierte Lernumgebung erfüllt für den Einsatz von KI in der Hochschullehre zwei Funktionen: Erstens ist sie eine Plattform für die Sammlung reichhaltiger Daten rezeptiver und produktiver Lernprozesse. Die gesammelten Daten ermöglichen weitreichende Analysen, insbesondere durch Nutzung von Data-Mining-Verfahren. Ergebnisse dieser Analysen erlauben Einblicke in Lernprozesse und können Entscheidungen über das eigene Lernverhalten, didaktisches Handeln und die weitere Gestaltung der Lernumgebung beeinflussen und begründen. Zweitens können in die Lernumgebung der Longpage KI-Werkzeuge eingebunden werden. Wie am Beispiel der Leseverständnistests, dem Lesefortschritt und den Empfehlungssystemen gezeigt, geht der Einsatz von KI über die Analyse von Daten hinaus. Neue Funktionen werden nicht nur durch die Berechnungen ermöglicht, sondern überhaupt erst praktikabel, weil sie den dafür erforderlichen Arbeitsaufwand aufseiten der Lehrenden reduzieren. Die Bandbreite der eingesetzten Verfahren reicht von Information Retrieval, Data Mining, Empfehlungssystemen und NLP bis hin zu generativer KI und adaptiven Systemen. KI kann einen Betrag leisten, isolierte Anwendungen und Inhalte durch die Identifikation von Ähnlichkeiten zu verknüpfen und besser in der Lernumgebung zu verankern.
Die Gestaltung und Entwicklung von KI-basierten Lernumgebungen ist jedoch nicht trivial. Für den Einsatz von KI in der Bildung haben wir in den zurückliegenden Jahren eine Reihe von Gelingensbedingungen identifiziert: Erstens müssen Lernende und Lehrende in den iterativen und oftmals kleinteiligen Gestaltungsprozess einbezogen werden. Methoden des partizipativen Designs zählen zum Grundrepertoire, wenn es darum geht, Bedarfe und Anforderungen zu erheben, Papierprototypen zu erstellen, Mockups zu testen, die Usability und User Experience zu diagnostizieren, Nutzende zu interviewen oder Experten um eine Einschätzung zu bitten. Zweitens ist die Frage der Sammlung von Daten als eine Frage des Software-Designs zu verstehen. Insbesondere die Granularität und Menge der gesammelten Daten muss den dadurch entstehenden Kosten aufseiten der Nutzenden Rechnung tragen. Diese Kosten entstehen nicht nur durch die Verarbeitung personenbezogener Daten, sondern auch durch einen verringerten Komfort (z. B. verursacht durch längere Ladezeiten, eingeschränkter Offline-Nutzung) und den Aufwand der Umgewöhnung. Es macht zudem einen Unterschied, ob Downloads, Seitenaufrufe oder Scroll-Events gezählt , oder die Anzeigedauer von Elementen erfasst werden, oder sogar der Bildschirm im Browser aufgezeichnet wird. Nicht zu unterschätzen ist dabei die Benutzerfreundlichkeit, welche sich auf die Anzahl möglicher Nutzerinteraktionen pro Zeit und somit auch auf die Menge gesammelter Daten auswirken kann. Drittens können KI-Verfahren nur dann funktionieren, wenn die erforderlichen Daten durch die didaktische Gestaltung des Settings überhaupt anfallen. Die meisten der hier erwähnten KI-Verfahren beruhen auf Daten aus den Interaktionen der Lernenden mit dem System. Lehrende müssen auf diese Interaktionsmöglichkeiten hinweisen, sie in Aufgaben integrieren sowie alternativen Nutzungsformen jenseits der KI-basierten Lernumgebung (z. B. Studientexte als PDF) weitestgehend ausschließen. Die Änderung der Lehrpraxis kann auch bedeuten, neue Aufgaben wahrzunehmen und beispielsweise Lernaktivitäten mithilfe von Teacher Dashboards zu monitoren oder Regeln für die adaptive Personalisierung der Lernumgebung zu konfigurieren. Viertens bedarf es einer umfassenden Einführung neuer Werkzeuge und Funktionen. Studierende durchsuchen die Lernumgebung nicht selbstständig nach den neusten KI-Funktionen. Selbst wenn sie eine neue Funktion entdecken, bedarf es Anregungen und einer Anleitung, wie diese in effektive Lernstrategien integriert werden kann. Teil der Einführung ist ein intensives Monitoring der Nutzung. Probleme lassen sich anhand der Nutzungsdaten frühzeitig erkennen, technisch lösen oder durch Hinweise und Instruktionen abmildern. Fünftens ist sicherzustellen, dass keine Individuen oder Gruppen benachteiligt werden. Kennzahlen und Modelle auf Basis von Lerndaten unterliegen Verzerrungen. Es ist wichtig, die Besonderheiten relevanter Gruppen zu identifizieren und Kennzahlen bzw. Modelle gezielt für intersektionale Gruppen zu evaluieren.
Open Access Dieser Artikel wird unter der Creative Commons Namensnennung 4.0 International Lizenz veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Artikel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
Weitere Details zur Lizenz entnehmen Sie bitte der Lizenzinformation auf http://​creativecommons.​org/​licenses/​by/​4.​0/​deed.​de.

Hinweis des Verlags

Der Verlag bleibt in Hinblick auf geografische Zuordnungen und Gebietsbezeichnungen in veröffentlichten Karten und Institutsadressen neutral.

Our product recommendations

Informatik-Spektrum

Hauptaufgabe dieser Zeitschrift ist die Publikation aktueller, praktisch verwertbarer Informationen über technische und wissenschaftliche Fortschritte aus allen Bereichen der Informatik und ihrer Anwendungen in Form von Übersichtsartikeln und einführenden Darstellungen sowie Berichten über Projekte und Fallstudien, die zukünftige Trends aufzeigen.

Literature
9.
go back to reference Radović S, Seidel N, Haake JM, Kasakowskij R (2024) Analysing students’ self-assessment practice in a distance education environment: Student behaviour, accuracy, and task-related characteristics. Computer Assisted Learning 40(2):654–666. https://doi.org/10.1111/jcal.12907CrossRef Radović S, Seidel N, Haake JM, Kasakowskij R (2024) Analysing students’ self-assessment practice in a distance education environment: Student behaviour, accuracy, and task-related characteristics. Computer Assisted Learning 40(2):654–666. https://​doi.​org/​10.​1111/​jcal.​12907CrossRef
15.
go back to reference Björnsson C‑H (1968) Läsbarhet: hur skall man som författare nåfram till läsarna? Bokförlaget Liber Björnsson C‑H (1968) Läsbarhet: hur skall man som författare nåfram till läsarna? Bokförlaget Liber
23.
go back to reference Seidel N, Menze D (2022) Interactions of reading and assessment activities. In: Sosnovsky S, Brusilovsky P, Lan A (Hrsg) 4th Workshop on Intelligent Textbooks, 2022, S 64–76 Seidel N, Menze D (2022) Interactions of reading and assessment activities. In: Sosnovsky S, Brusilovsky P, Lan A (Hrsg) 4th Workshop on Intelligent Textbooks, 2022, S 64–76
28.
go back to reference Li N, Kidziński Ł, Jermann P, Dillenbourg P (2015) MOOC Video Interaction Patterns: What Do They Tell Us? In: Conole G, Klobučar T, Rensing C, Konert J, Lavoué É (Hrsg) Design for teaching and learning in a networked world. ECTEL 2015. Springer, S 197–210 https://doi.org/10.1007/978-3-319-24258-3_15CrossRef Li N, Kidziński Ł, Jermann P, Dillenbourg P (2015) MOOC Video Interaction Patterns: What Do They Tell Us? In: Conole G, Klobučar T, Rensing C, Konert J, Lavoué É (Hrsg) Design for teaching and learning in a networked world. ECTEL 2015. Springer, S 197–210 https://​doi.​org/​10.​1007/​978-3-319-24258-3_​15CrossRef
32.
go back to reference Seidel N, Rieger MC, Walle A (2020) Semantic Textual Similarity of Course Materials at a Distance-Learning University. In: Price TW, Brusilovsky P, I‑Han Hsiao S, Koedinger K, Shi Y (Hrsg) Workshop CSEDM at EDM 2020 Seidel N, Rieger MC, Walle A (2020) Semantic Textual Similarity of Course Materials at a Distance-Learning University. In: Price TW, Brusilovsky P, I‑Han Hsiao S, Koedinger K, Shi Y (Hrsg) Workshop CSEDM at EDM 2020
Metadata
Title
Von der Analyse zur adaptiven Unterstützung beim Lesen
Authors
Niels Seidel
Dennis Menze
Publication date
23-09-2024
Publisher
Springer Berlin Heidelberg
Published in
Informatik Spektrum
Print ISSN: 0170-6012
Electronic ISSN: 1432-122X
DOI
https://doi.org/10.1007/s00287-024-01572-0

Premium Partner