Die systematische Untersuchung der Gebrauchstauglichkeit (Usability) von Online-Lernplattformen stellt eine wichtige Voraussetzung dar, um die Erfahrungen, Probleme und Wünsche der Nutzerinnen und Nutzer angemessen einschätzen sowie bei der Gestaltung oder Weiterentwicklung des E-Learning-Angebots einbeziehen zu können. Dieses Kapitel zeigt am Beispiel der Online-Lernplattform ViviAn, wie das Vorhaben einer Usability-Evaluation gelingen kann. Das Nutzungsverhalten bei der Bearbeitung von Lerneinheiten wurde über einen mehrwöchigen Erhebungszeitraum mittels Matomo Analytics für 168 Studierende erfasst und quantifiziert. Ergänzend füllten die Teilnehmenden einen Fragebogen aus, in dem Einschätzungen zu verschiedenen Aspekten der Lernplattform erhoben wurden. Die Ergebnisse zeigen, dass die Lernplattform überdurchschnittlich gut bewertet wird. Die Auswertung zeigt darüber hinaus, dass die Mehrheit der Nutzerinnen und Nutzer mit einer geeigneten Bildschirmauflösung gearbeitet und die neu hinzugefügten Funktionalitäten (z. B. Skalierbarkeit und Verschiebbarkeit von Fenstern und Menüs) auch genutzt haben. Im Zuge der Auswertung der Freitextantworten konnten weitere Usability-Probleme und Wünsche identifiziert werden, die im Rahmen der Weiterentwicklung von ViviAn berücksichtigt werden, um einen – gemäß der Usability-Definition – noch effektiveren, effizienteren und zufriedenstellenderen Gebrauch der Plattform zu ermöglich.
6.1 Entwicklung und Evaluation einer Online-Lernplattform
6.1.1 Hintergründe zum Fallbeispiel ViviAn
Das Erkennen von Lernvoraussetzungen und -prozessen von Lernenden im Unterricht stellt eine grundlegende Kompetenz von Lehrkräften dar (Praetorius et al., 2012). Um die dazu notwendige diagnostische Fähigkeit zu trainieren, wurde das Video-Analysetool ViviAn entwickelt, das in allen Phasen der Lehrkräftebildung genutzt wird (Bartel & Roth, 2017; https://vivian.uni-landau.de/). Studierende können auf Grundlage von jeweils einer etwa fünf Minuten langen Video-Vignette, die eine charakteristische Unterrichtssituation zeigt (z. B. vier Lernende, die eine Mathematikaufgabe bearbeiten und über deren Lösung diskutieren), eine eigene Diagnose entwickeln und auf der Lernplattform eintragen. Grundsätzlich hat ein Video-Analysetool den Vorteil, dass Lernprozesse realitätsnah abgebildet und wiederholt analysiert werden können. ViviAn stellt darüber hinaus Zusatzinformationen zu Lernvoraussetzungen und zur -situation bereit. Nutzerinnen und Nutzer können ihre selbst erarbeiteten Diagnosen und abgeleiteten Unterrichtsmaßnahmen mit validierten Experten-Urteilen vergleichen. Studien, die den Mehrwert von ViviAn untersuchten, belegen, dass diagnostische Fähigkeiten mit und durch ViviAn gefördert werden (Hofmann & Roth, 2020; Bartel & Roth, 2020; Walz & Roth, 2019).
6.1.2 Methoden der Usability-Evaluation und Bedeutsamkeit für digitale Lernangebote
Der Lernprozess kann durch die Gestaltung der Online-Lernplattformen, ihre Gebrauchstauglichkeit (Usability), maßgeblich beeinflusst werden (Meiselwitz & Sadera, 2008). Die Einbindung der (späteren) Nutzerinnen und Nutzer in den Entwicklungsprozess stellt eine sinnvolle Maßnahme dar, um etwaigen Fehlentwicklungen frühzeitig entgegenzuwirken (Sarodnick & Brau, 2016).
Advertisement
Usability
Usability ist nach der DIN EN ISO 9241 das Ausmaß, in dem ein technisches System durch bestimmte Nutzerinnen und Nutzer „in einem bestimmten Nutzungskontext verwendet werden kann, um bestimmte Ziele effektiv, effizient und zufriedenstellend zu erreichen“ (Sarodnick & Brau, 2016, S. 20).
Ohne die Durchführung einer Usability-Evaluation bleibt verborgen, welche Funktionalitäten der Plattform intuitiv und zweckdienlich genutzt werden und an welcher Stelle Probleme auftreten. Bereits 2006 stellten Debevc und Bele (2006) fest, dass es für E-Learning-Anwendungen kein passgenaues Instrument zur Usability-Evaluation gibt. Daran hat sich bis heute wenig geändert. In nationalen (z. B. Sarodnick & Brau, 2016) und internationalen (z. B. Rubin & Chisnell, 2008) Standardwerken der Usability-Evaluation findet man ein breites Spektrum an Methoden für unterschiedliche Einsatzzwecke. Diese entstanden jedoch in Verbindung mit der Beurteilung der Gebrauchstauglichkeit kommerzieller Produkte, häufig Software, oder analoger Bedienelemente und besitzen vor diesem Hintergrund keine optimale Passung für Online-Lernplattformen. So beziehen sich einige Items beispielsweise ausschließlich auf Desktop-Anwendungen, die nicht oder nur ansatzweise auf Online-Lernplattformen übertragbar sind.
Usability-Evaluation
Bewertung von Systemen hinsichtlich ihrer Gebrauchstauglichkeit. Es wird unterschieden in formative und summative Usability-Evaluation: Die formative Usability-Evaluation erfolgt prozessbegleitend (z. B. das Testen von Prototypen) und dient der Verbesserung der Entwicklung. Die summative Usability-Evaluation bezeichnet eine finale Evaluation am Ende und soll die gesamte Entwicklung bewerten
Dzida et al. (1978) führten unter dem Begriff User-Perceived Quality sieben Aspekte bzw. Dimensionen ein, die als Leitbilder für die Realisierung von Usability verstanden werden können (Tab. 6.1). Diese Aspekte stellten die spätere Grundlage für die Gestaltung der Ergonomie der Mensch-System-Interaktion (DIN EN ISO 9241–110) dar. Tab. 6.1 nennt je ein Beispiel, das zeigt, wie die bewusste Berücksichtigung dieser Aspekte bei der Konzeption von ViviAn hilft, etwaige Usability-Fehler initial zu vermeiden. Ein auf diesen Aspekten aufbauender Usability-Test kann überprüfen, inwieweit die Aspekte realisiert wurden. Ein Fragebogen, der alle sieben Aspekte abdeckt, wurde beispielsweise von Prümper und Anft (2021) entwickelt.
Tab. 6.1
Sieben Aspekte der User-Perceived Quality nach Dzida et al. (1978) und exemplarische Umsetzung anhand der Online-Lernplattform ViviAn
Aspekt der User-Perceived Quality
Beispiel aus ViviAn
Aufgabenangemessenheit
Bei der Bearbeitung einer Videovignette werden alle nicht relevanten Buttons ausgeblendet.
Selbstbeschreibungsfähigkeit
Bevor die Bearbeitung eines Diagnoseauftrags zur gegebenen Lernsituation abgeschickt werden kann, müssen alle Dialogfenster ausgefüllt werden.
Erwartungskonformität
Nach dem Laden der Seite ist das erste Eingabefeld ausgewählt.
Lernförderlichkeit
Im Vorfeld der Nutzung wird über wesentliche Funktionalitäten aufgeklärt und deutlich gemacht, dass Fenster skalierbar sind und verschoben werden können.
Steuerbarkeit
Die Nutzer-Eingaben können (zwischen-)gespeichert werden.
Fehlertoleranz
Die frei verschiebbaren Bedienelemente können mit einem Klick auf einen Reverse-Button in den Ursprungszustand zurückversetzt werden. Korrekturen können mit minimalem Aufwand durchgeführt werden.
Individualisierbarkeit
Zoomfunktion, Skalierbarkeit und frei verschiebbare Elemente sind abhängig von der Bildschirmgröße.
6.1.3 Weiterentwicklung der Online-Lernplattform auf Grundlage der Usability-Evaluationen
Während der Entwicklung von ViviAn seit 2014 wurden mehrfach formative Usability-Evaluationen durchgeführt. Dazu wurden Probandinnen und Probanden aus allen drei Phasen der Lehrkräftebildung (Lehramtsstudium, Studienseminar, Lehrerfortbildung) gewonnen. Das Nutzer-Feedback wurde mit unterschiedlicher Stichprobengröße anlassbezogen erhoben, um einzelne Prototypen oder Funktionalitäten zu testen. Die jüngst durchgeführte Neukonzeption und technische Erneuerung der Plattform hatten schließlich zum Ziel: A) bereits etablierte und erprobte Funktionen beizubehalten, B) ein zeitgemäßes Webseitendesign zu realisieren, C) die Navigation auf allen Ebenen der Lernplattform intuitiver zu gestalten, D) Fenster und Menüs für die Arbeit mit unterschiedlichen Endgeräten, Bildschirmformaten und -größen frei skalierbar und verschiebbar zu gestalten sowie E) Hilfestellungen zur Arbeit mit ViviAn zu entwickeln (z. B. Erklärvideos).
Zur Überprüfung des Gelingens der Neukonzeption wurde nach Fertigstellung des Prototyps eine summative Usability-Evaluation durchgeführt, die hier vorgestellt wird. Da die Ergebnisse in die weitere Entwicklung der Plattform einfließen, besitzt sie als Zwischenevaluation zugleich formativen Charakter. Das hier vorgestellte Vorgehen soll am Beispiel der Online-Lernplattform ViviAn exemplarisch aufzeigen, wie die Usability-Evaluation gelingen kann. Vor dem Hintergrund der genannten Ziele haben sich folgende explorative Forschungsfragen ergeben:
1.
Mit welchem Endgerät wird die Lernplattform hauptsächlich genutzt?
2.
Wie bewerten die Nutzerinnen und Nutzer die Lernplattform?
3.
Welche Usability-Probleme bzw. Verbesserungsvorschläge werden genannt?
4.
In welchem Maß werden die Funktionalitäten der Plattform verwendet?
Advertisement
6.2 Konzeption und Durchführung der Usability-Evaluation
6.2.1 Methodischer Überblick
Während die zuvor genannten Forschungsfragen grundsätzlich mit einer direkten Nutzer-Befragung beantwortet werden könnten, erlauben Trackingtools für Webseiten die automatisierte Erfassung und Quantifizierung von Nutzer-Daten. Insbesondere an Stellen, an denen Nutzerinnen und Nutzer nur schwer zu einer realistischen Selbsteinschätzung gelangen würden (z. B. Maß der Nutzung der Funktionalitäten), erweitert ein Trackingtool das Erkenntnisspektrum. Zur Beantwortung der vier Forschungsfragen bietet sich daher ein Mixed-Method-Ansatz an, der die Integration und Triangulation multiperspektivisch gewonnener quantitativer sowie qualitativer Daten zum Nutzungsverhalten erlaubt. Ein Online-Fragebogen wurde mit LimeSurvey realisiert, da dieses Umfragewerkzeug direkt in ViviAn integriert ist. Als Trackingtool kam Matomo Analytics zum Einsatz.
6.2.2 Stichprobenauswahl
Im Zuge von Usability-Tests ist davon auszugehen, dass mit einer Stichprobe von etwa 50 Teilnehmenden fast alle Usability-Fehler eines Systems identifiziert werden (Sarodnick & Brau, 2016, S. 174). Da auf Grundlage von Einzelrückmeldungen im Vorfeld informell deutlich wurde, dass die Online-Lernplattform auf Endgeräten mit unterschiedlichen Bildschirmgrößen und Betriebssystemen benutzt wird, erschien es sinnvoll, eine deutlich größere Stichprobengröße einzubeziehen, um auch Endgerät-spezifische Usability-Fehler hinreichend abzubilden. Für eine größere Stichprobe spricht ebenso die dann erhöhte Datenqualität von Trackingtools.
Die intendierten Zielgruppen der Lernplattform sind Studierende, Referendarinnen und Referendare sowie Lehrkräfte. Aus forschungspragmatischer Sicht wurde die Stichprobe aus der am leichtesten zugänglichen Zielgruppe gezogen. Da die Gruppe der Studierenden hinsichtlich verschiedener Merkmale heterogen ist1 und dieselben Lerninhalte bearbeitet wie andere Nutzer-Gruppen, erscheint dieser Entschluss auch ökologisch valide. Eine heterogene Stichprobe von Nutzerinnen und Nutzern ist für die Identifizierung von Usability-Problemen zuträglich (Sarodnick & Brau, 2016). Im Sommersemester 2021 wurde die Usability-Studie im Rahmen der Vorlesungen Fachdidaktische Grundlagen und Didaktik der Zahlbereichserweiterung des Studiengangs Bachelor of Education Mathematik durchgeführt. In den Vorlesungen wird ViviAn systematisch in jedem Semester eingesetzt. An der Studie nahmen insgesamt 219 Studierende freiwillig teil. Die Teilnehmenden benötigten zur Bearbeitung des Fragebogens durchschnittlich etwa 25 Minuten. Da 18 Studierende den Fragebogen in unrealistischen Bearbeitungszeiträumen von weniger als fünf Minuten abschlossen sowie 33 Studierende nur einen geringen Teil der jeweiligen Kursinhalte auf der Lernplattform bearbeiteten (weniger als drei Video-Vignetten), wurden die Daten dieser Studierenden nicht einbezogen. Die korrigierte Stichprobe umfasst daher N = 168.
6.2.3 Inhalte des Fragebogens
Der erste Teil des Fragebogens umfasst das zur Arbeit mit ViviAn verwendete Endgerät, die ungefähre Bildschirmgröße, die Nutzung der angebotenen Hilfestellungen und eine Abfrage der Selbsteinschätzung der Studierenden zu ihrem Umgang mit neu entwickelten Funktionen mit folgenden drei Items:
In der Vignettenansicht von ViviAn habe ich häufig Fenster größer oder kleiner gemacht.
In der Vignettenansicht von ViviAn habe ich häufig Fenster verschoben.
Fenster in der Vignettenansicht von ViviAn zu verschieben, erschien mir sinnvoll, um die Darstellung nach meinen Bedürfnissen anzupassen.
Der zweite Teil des Fragebogens besteht aus dem ISONORM 9241/110 nach Prümper und Anft (2021). In der Langfassung umfasst dieser für jeden der sieben Aspekt der Norm fünf siebenstufige Items sowie ein Zusatzitem, über das Nutzerinnen und Nutzer einschätzen, inwieweit der jeweilige Aspekt innerhalb des Systems für die eigene Tätigkeit relevant ist. Darüber hinaus wird zu jedem der sieben Aspekte nach einem Beispiel gefragt, das diesen verletzt. Da die Auswertung auf Grundlage des Mittelwerts erfolgt, ist es möglich, einzelne Items zu entfernen. Wegen der für Online-Lernplattformen unpassenden Formulierungen entfielen die Items sw03, sw13, sw14, sw28, sw31 und sw33. In den verbleibenden 36 Items des Fragebogens wurde der Bezeichner „Software“ jeweils durch „ViviAn“ ersetzt:
Ursprüngliche Formulierung: Die Steuerbarkeit der Software ist für meine Tätigkeit …
Adaptierte Formulierung: Die Steuerbarkeit von ViviAn ist für meine Tätigkeit …
Der dritte Teil des Fragebogens beinhaltet Plattform-spezifische Items mit vierstufiger Likert-Skala: Interesse an der Arbeit mit ViviAn (5 Items), wahrgenommene Relevanz der Arbeit mit ViviAn (5 Items), wahrgenommene Schwierigkeiten (4 Items), wahrgenommene Realitätsnähe (2 Items), Gestaltung der Lernumgebung (4 Items) nach Bartel und Roth (2020) sowie folgende drei Items mit gleicher Skala:
Auf der ViviAn-Homepage finde ich mich schnell zurecht.
Die Hilfestellungen zur Registrierung auf der ViviAn-Homepage sind hilfreich.
Ich finde die ViviAn-Homepage vom Design ansprechend.
An diese Items schlossen fünf offene Fragestellungen mit Freitextfeldern an. Ziel war es herauszufinden, welche Zusatzinformationen bei der Bearbeitung der Vignetten am meisten geholfen haben, was beim Bearbeiten der Videos als positiv empfunden wurde, welche Änderungen am System gewünscht werden und welche sonstigen Anmerkungen zum Umgang mit ViviAn oder zum Fragebogen existieren. Abschließend wurde um eine Gesamtbewertung der Arbeit mit den Video-Vignetten sowie um eine Gesamtbewertung der ViviAn-Plattform als Ganzes nach dem Schulnotensystem gebeten.
6.2.4 Trackingtool: Matomo Analytics
Matomo Analytics ist eine Open-Source-Webanalytik-Plattform, die eine DSGVO-konforme Verwendung zulässt. Mit ihr lässt sich die Nutzung von Webseiten untersuchen. Im Rahmen dieser Erhebung kam das Plugin Heatmap & Session Recording zum Einsatz. Mit Heatmaps lassen sich die Klicks der Nutzerinnen und Nutzer auf definierten Seiten visualisieren. Durch relative Werte ist eine aggregierte Darstellung trotz unterschiedlicher Auflösungen möglich. Mit dem Sessiontracking lässt sich individuelles Verhalten auf der Nutzungsoberfläche nachvollziehen. Dies ermöglicht auch die Überprüfung der Heatmaps.
6.2.5 Untersuchungsdesign und Datenauswertung
Parallel zur Vorlesung Fachdidaktische Grundlagen wurde in sechs aufeinanderfolgenden Wochen jeweils eine Vignette bearbeitet, also insgesamt sechs Vignetten, während parallel zur Vorlesung Didaktik der Zahlbereichserweiterungen in vier aufeinanderfolgenden Wochen jeweils zwei Vignetten bearbeitet wurden. Die Studierenden wurden darauf hingewiesen, dass Hilfestellungen (z. B. Erklärvideos) zum Umgang mit ViviAn verfügbar sind. Am Ende der letzten Woche der Videobearbeitung wurden die Studierenden unmittelbar nach Abschluss gebeten, den Fragebogen auszufüllen. Für die oben genannten Items wurden jeweils Mittelwert und Standardabweichung bestimmt. Die Auswertung der Items mit Freitextfeldern erfolgte mittels MAXQDA 2020. Die genannten Usability-Probleme und Wünsche wurden nach Häufigkeit der Nennung sortiert.
6.3 Befunde zur Nutzung
6.3.1 Bevorzugtes Endgerät zur Nutzung
Ziel der ersten Forschungsfrage bestand darin, herauszufinden, mit welchen Endgeräten die Online-Lernplattform hauptsächlich genutzt wird. Die Auswertung zeigt, dass ViviAn mit 67 % am häufigsten auf Laptops zum Einsatz kommt. Desktop-PCs und Tablets werden jeweils zu 15,7 % genutzt. Auf dem Handy ist ViviAn nur in drei Fällen zum Einsatz gekommen. In 16,7 % der Fälle wurde mehr als ein Endgerät zur Bearbeitung verwendet, wobei der Laptop am häufigsten in Kombination mit einem Tablet benutzt wird.
Der größte Teil der Studierenden nutzt nach eigener Einschätzung Bildschirmgrößen von mehr als 11 bis 19 Zoll (Abb. 6.1a). 19,6 % der Befragten konnten keine Angaben zur Bildschirmgröße ihres Endgerätes machen. Die Auswertung in Matomo Analytics zeigt, dass ViviAn in 64 unterschiedlichen Auflösungen, die von 320 × 712 px bis 7680 × 2160 px reichen, gestartet wurde. Nur in zwei Fällen wurde die Seite in einer Auflösung von 4k oder höher verwendet (Abb. 6.1b).
Abb. 6.1
a Bildschirmgröße der Endgeräte (Einschätzung), b Auflösung der Endgeräte (Matomo Analytics)
×
6.3.2 Bewertung der Online-Lernplattformen
Die zweite Forschungsfrage adressiert die Bewertung der Lernplattform. Der Arbeit mit den Vignetten wird durchschnittlich die Note 1,89 (SD = 0,72) und der Lernplattform exklusive Diagnosetool die Note 2,02 (SD = 0,72) gemäß dem Schulnotensystem gegeben. Die Nutzereinschätzung fällt auch für die anderen Skalen weitestgehend überdurchschnittlich positiv aus (Abb. 6.2). Die Auswertung der Items zur wahrgenommenen Schwierigkeit zeigt, dass die Studierenden die Arbeit mit den Videos und den Diagnoseaufträgen in ViviAn durchschnittlich weder als leichte noch als schwere/anstrengende Aufgabe einschätzen.
Abb. 6.2
Ergebnisse zu den Skalen der Bewertung und zur Arbeit mit ViviAn.
(1Nach Bartel & Roth (2020). 4-stufig: „triff voll zu“ (4) bis „trifft nicht zu“ (1))
×
Die Ergebnisse in Abb. 6.3 zeigen für das Beispiel ViviAn exemplarisch, wie der nach Prümper und Anft (2021) veränderte Fragebogen in der Lage ist, gelungene und verbesserungswürdige Aspekte einer Online-Lernplattform abzubilden. Die Interpretation der Mittelwerte und Standardabweichungen kann dabei stets nur vor dem Hintergrund der Rahmenbedingungen des beurteilten Systems erfolgen. Die Auswertung der Freitextfelder kann aufklärende Funktion bei der Interpretation der Werte übernehmen. So tendiert beispielsweise der Mittelwert des Items sw21 mit 4,53 bei einer siebenstufigen Likert-Skala zur Mitte und die Standardabweichung von 2,03 fällt im Vergleich zu den anderen Items am höchsten aus. Erst bei der Auswertung der Freitextfelder wird klar, dass die Nutzerinnen und Nutzer eine Option zur Zwischenspeicherung ihrer Einträge als wünschenswert ansehen und das Fehlen dieser Option zugleich als Usability-Problem benennen. Die Ergebnisse der Items sww1–7 zeigen, dass jeder der sieben Aspekte aus der Sichtweise der Teilnehmenden für die untersuchte Online-Lernplattform relevant ist.
Abb. 6.3
Ergebnisse zu den sieben Aspekten des ISONORM 9241/110, verändert nach Prümper und Anft (2021).
Anmerkung: 7-stufige Skala: –- (1), –, -, -/ + , + , + + , + + + (7) | Die Items sw03, sw13, sw14, sw28, sw31 und sw33 entfielen (vgl. Abschn. 6.2.3). Die alternativen Aussagen der gegenläufigen Pole sind jeweils unterstrichen
×
Der Abgleich mit den Mittelwerten und den Standardabweichungen aus der Normierungstabelle von Prümper (1997) zeigt, dass ViviAn hinsichtlich aller sieben Aspekte höhere Werte liefert als die Normierungsstichprobe (Abb. 6.4). Der Normierungstabelle liegen Usability-Evaluationen von 41 Softwareanwendungen mit durchschnittlich 24,6 beurteilenden Nutzerinnen und Nutzern zugrunde.
Abb. 6.4
Vergleich der Mittelwerte und Standardabweichungen für jeden der sieben Aspekte zwischen ViviAn und der Normierungsstichprobe aus Prümper (1997, S. 259)
×
6.3.3 Wahrgenommene Usability-Probleme und Desiderat der Nutzer*innen
Die dritte Forschungsfrage bezieht sich auf die Usability-Probleme und Verbesserungsvorschläge. Diese wurden entweder im Rahmen der Freitextfelder des ISONORM 9241/110 oder am Ende des Fragebogens bei den offenen Fragen genannt. Da die Usability-Probleme und Verbesserungsvorschläge oftmals eng zusammenhängen, werden diese hier gemeinsam berichtet (Abb. 6.5) und in Abschn. 6.4 die daraus abgeleiteten Konsequenzen diskutiert.
Abb. 6.5
Auswahl der genannten Usability-Probleme und Verbesserungsvorschläge in absteigender Häufigkeit
×
6.3.4 Nutzung verfügbarer Funktionen
Die vierte Forschungsfrage beabsichtigt herauszufinden, inwiefern ausgewählte neu hinzugefügte Funktionalitäten genutzt werden. So ist es beispielsweise in der aktuellen Version von ViviAn möglich, die meisten Fenster der Lernumgebung frei zu skalieren und zu verschieben, um die Lernumgebung an die eigenen Bedürfnisse anzupassen. Während etwa zwei Drittel der Befragten diese Optionen als sinnvoll einstufen (M = 5,99, SD = 1,74), geben anteilmäßig weniger Befragte an, dass sie von der Skalierung von Fenstern (M = 4,61, SD = 2.26) oder dem Verschieben von Fenstern (M = 5,64, SD = 1,97) frequentiert Gebrauch gemacht haben. Die Teilnehmenden verwenden außerdem durchschnittlich 1,8 Hilfestellungen, z. B. schriftliche Anleitung auf der Webseite (34 %) oder im PDF-Format (5 %) oder Erklärvideos (24 %).
Heatmaps
Als exemplarische Heatmap wird für diesen Beitrag eine Auflösung mit 1440 px Breite gewählt (Abb. 6.6), welche 14 % der Teilnehmenden (Abb. 6.1) nutzten. Rote Flächen kennzeichnen Positionen auf die mindestens zwei Personen geklickt haben. Grüne Flächen hingegen zeigen vereinzelte Klicks. Sehr deutlich zu sehen ist, dass die Buttons wie vorgesehen genutzt wurden. Ebenso zeigt sich, dass die Funktionen zur Individualisierung des Fensterlayouts regen Gebrauch gefunden haben. Durch die längliche rote Fläche an der rechten Seite unterhalb des „Diagnoseauftrag“-Fensters sowie in der rechten unteren Ecke des Videos wird deutlich, dass die Resize-Funktion genutzt wurde. Die vielen Klicks im weißen Bereich rechts daneben deuten darauf hin, dass die Material-Fenster mit der Drag-Funktion dorthin gezogen wurden. Dies kann mithilfe des Session Recording überprüft werden (Abb. 6.7 und 6.8).
Abb. 6.6
Aggregierung von Heatmap-Daten der Vignettenoberfläche auf einem exemplarischen Vignetten-Screenshot mit einer Auflösung von 1440 × 900 px
Abb. 6.7
Screenshot aus dem Sessiontracking einer Vignettenbearbeitung mit einer Auflösung von 1920 × 1080 px
Abb. 6.8
Screenshot aus dem Sessiontracking einer Vignettenbearbeitung mit einer Auflösung von 1536 × 864 px
×
×
×
Sessiontracking
Zu sehen sind zwei ausgewählte Bearbeitungszeitpunkte in 1920 × 1080 px (Abb. 6.7) und 1536 × 864 px (Abb. 6.8), die mit dem Plugin für Session Recording extrahiert wurden. Es zeigt sich, dass einzelne Hilfestellungen sowie deren Verschiebbarkeit genutzt wurden. Ebenso stützen sie die in der Heatmap aggregierten Daten und zeigen exemplarisch, dass unabhängig von der Bildschirmauflösung tendenziell die volle Bildschirmbreite zur Bearbeitung genutzt wird. Die orangene Linie zeigt hierbei den Verlauf des Mauszeigers während der Bearbeitung. Die orangenen Punkte auf der Linie markieren die Stellen, an denen geklickt wurde. Da diese Screenshots Momentaufnahmen darstellen, gehören manche dieser Klicks zu den Positionen bereits geschlossener Hilfeboxen.
6.4 Diskussion und Ausblick
Die Untersuchung zeigte, dass die Studierenden ihre Tätigkeit auf der Plattform als überdurchschnittlich relevant für die spätere Berufsausübung einstufen, die Gestaltung der Benutzeroberfläche als überdurchschnittlich gut angesehen wird und mobile Endgeräte (Tablet, Smartphone) bei der Nutzung eine untergeordnete Rolle spielen.
Aus den Ergebnissen der Heatmaps und des Sessiontrackings geht hervor, dass alle Optionen, die die Oberfläche von ViviAn bietet, in der intendierten Art und Weise genutzt werden. Die freie Anordnungsmöglichkeit der Arbeitsmaterialien wird gut angenommen und es kommt zu keinen Missverständnissen oder Irritationen, durch die verfügbaren Funktionen der Oberfläche, die die Bearbeitung erschweren würden.
Für die sieben Dimensionen des ISONORM 9241/110 schnitt ViviAn in allen Bereichen besser ab als die Referenzwerte aus der Normierungstabelle, die anhand von 41 Softwareanwendungen ermittelt wurden (Prümper, 1997). Die höhere Standardabweichung im Vergleich zur Normierungstabelle kann nicht zweifelsfrei geklärt werden. Eine mögliche Ursache könnte in der großen Vielfalt der verwendeten Endgeräte, Bildschirmgrößen und -auflösungen liegen, die nicht alle gleich gut für die Nutzung von ViviAn geeignet sind. So wurde z. B. deutlich, dass die Befragten zum Teil sehr kleine Bildschirmauflösungen verwenden und daher nur bedingt das Potenzial von frei verschiebbaren und skalierbaren Fenstern und Menüs ausnutzen können. So ist es zwar in der mit 18 % am häufigsten vertretenen Bildschirmauflösung (1536 × 864) möglich, das Videovignetten-Fenster neben dem Diagnoseauftrag zu positionieren, es wird aber kaum möglich sein, weitere Fenster überschneidungsfrei zu öffnen (z. B. Arbeitsmaterialien und Lösungen). Nur 17 % der Nutzerinnen und Nutzer arbeiteten an einem Bildschirm mit Full-HD-Auflösung (1920 × 1080) und in weniger als 2 % wurde ViviAn in höherer Auflösung aufgerufen.
Die Berücksichtigung der genannten Verbesserungsvorschläge und die Beseitigung der aufgedeckten Usability-Probleme sind essenziell für die Weiterentwicklung der Online-Lernplattformen ViviAn. Im Rahmen der Freitextfelder äußerten die Teilnehmenden am häufigsten den Wunsch nach einem individuellen Feedback (n = 55). Diesem Wunsch kommen wir nach, indem neben den Studierendenantworten nachträglich ein Freitextfeld erscheint, indem die Kursleiterinnen und Kursleiter eine individuelle Rückmeldung anbringen können. Häufig wurde zudem angeführt, dass einzelne Abschnitte der Dialoge der Schülerinnen und Schüler in den Videos schwer verständlich sind (n = 36). Dies ist bekannt und wird bei der Generierung und Implementierung neuer Videovignetten berücksichtigt. Bei den bestehenden Vignetten wurde diesem Hinweis bereits nachgekommen, indem der/die jeweils im Video Sprechende markiert ist. Die Rückmeldung eines abwechslungsreicheren Angebotes (n = 23), d. h. Vignetten anderer Schularten/-stufen, ist zum Teil nachvollziehbar, da die bearbeiteten Vignetten Schülerinnen und Schüler aus zwei Schularten und drei -stufen zeigen. Eine Erweiterung des Vignetten-Angebots ist für die Zukunft angedacht. Die Option zur Zwischenspeicherung der gemachten Eingaben (n = 23) stellt eine wichtige Funktionalität dar, die bei der Weiterentwicklung der Plattform berücksichtigt wird. In diesem Zusammenhang wird ebenso realisiert, dass gemachte Eingaben nachträglich mit den Musterlösungen im Kursprofil abgeglichen werden können (n = 12). Ohne die beiden zuletzt genannten Funktionen kann es bei technischen Schwierigkeiten zu wiederholtem Datenverlust kommen. In dieser Folge kann es zu Frustration und zur Beeinträchtigung des Lernprozesses kommen. Existiert hingegen eine Option zur Zwischenspeicherung, so kann die Arbeit grundsätzlich auch unterbrochen und zu einem späteren Zeitpunkt fortgeführt werden. Inzwischen wurden alle der zuvor genannten wünschenswerten Funktionalitäten der Plattform hinzugefügt.
Auch wurde deutlich, dass die Teilnehmenden teilweise konträre Wünsche äußern (Abb. 6.5). So geben 13 Personen an, dass die Aufgaben in Summe zu umfangreich sind, und 3 Personen, dass die Videovignetten kürzer ausfallen hätten können. Dahingegen äußern 10 Personen, dass zusätzliches Material hilfreich gewesen wäre, und 3 Personen, dass die Videovignetten länger hätten sein können. Diese Aussagen von wenigen Studierenden, die symmetrisch jeweils beide Pole der Möglichkeiten ansprechen, verdeutlichen, dass diesbezüglich die getroffenen Design-Entscheidungen im Mittel passgenau sind. Doch auch Rückmeldungen mit geringer Häufigkeit können hilfreich für die Weiterentwicklung sein: So weisen wenige Befragte darauf hin, dass die Musterlösung bei einer Frage fehlt, bei einer Auswahloption zwischen „Ja“ und „Nein“ beide Antwortalternativen ausgewählt werden können und eine Option zum Melden von Fehlern hilfreich wäre.
Vor dem Hintergrund des breiten Spektrums an Endgeräten, Bildschirmgrößen und -auflösungen war es sinnvoll, eine große Stichprobe zu nutzen und damit die empfohlene Stichprobengröße nach Sarodnick und Brau (2016, S. 174) von etwa 50 Teilnehmenden für Usability-Tests zu übersteigen. Auf Grund der seltenen Nennungen einzelner Antworten ist jedoch davon auszugehen, dass mit einer noch größeren Stichprobe weitere seltene Usability-Probleme hätten identifiziert werden können. Der systematische Rahmen der Usability-Evaluation lieferte dennoch eine Vielzahl an für die Weiterentwicklung relevanten Erkenntnissen, die ohne diese Form der Untersuchung verborgen geblieben wären.
Wie Meiselwitz und Sadera bereit 2008 feststellten, kann der Lernprozess durch die Gestaltung der verwendeten Online-Lernplattformen, genauer gesagt ihrer Gebrauchstauglichkeit (Usability), maßgeblich beeinflusst werden. Vor diesem Hintergrund und den Erkenntnissen der hier dargestellten Untersuchung plädieren die Autoren dafür, dem entwicklungsbegleitenden Usability-Engineering und der formativen sowie summativen Usability-Evaluation digitaler Lernangebote mehr Aufmerksamkeit zu schenken. Es ist bei Online-Lernplattformen grundsätzlich darauf zu achten, dass mögliche Systemhürden minimiert und das Arbeiten möglichst intuitiv gestaltet werden, denn nur so können die Anwenderinnen und Anwender – gemäß der Usability-Definition – ihre Ziele effektiv, effizient und zufriedenstellend erreichen.
Open Access Dieses Kapitel wird unter der Creative Commons Namensnennung 4.0 International Lizenz (http://creativecommons.org/licenses/by/4.0/deed.de) veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Kapitel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
Zur Bestätigung dieser im Vorfeld getroffenen Annahme wurden beispielsweise die Skalen zur Computerkompetenz, zur E-Learning-Affinität sowie zur Nutzung technischer Geräte im Studium nach Karapanos und Fendler (2015) eingesetzt. Einschränkend muss darauf hingewiesen werden, dass Lehramtsstudierende eines MINT-Fachs meist über eine höhere digitale Kompetenz verfügen als Lehramtsstudierende anderer Fächer (vgl. Senkbeil et al., 2021).
