7. Evaluation digitaler Arbeitsblätter im Chemieunterricht in Hinblick auf Usability und Interesse

In der aktuellen Interessensforschung spielt die Theorie der Person-Gegenstand-Konzeption von Interesse eine wichtige Rolle. Hierbei wird Interesse als eine Erscheinung der Interaktion zwischen einer Person und ihrer „gegenständlichen“ Umwelt (Krapp, 1998) beschrieben. Im schulischen Kontext ist der Interessensgegenstand durch spezielle Themengebiete eines Schulfaches oder bestimmte Tätigkeiten im Unterricht definiert. Die Schülerin oder der Schüler besitzt anfänglich ein starkes oder schwaches Wissen über den Gegenstand. Während der weiteren Auseinandersetzung zwischen Person und Gegenstand werden neue Erfahrungen und Kompetenzen erworben, womit der Gegenstand bzw. Inhaltsbereich erschlossen wird (Krapp, 1998). Das Interessenskonzept steht in Zusammenhang mit anderen Motivationstheorien, wie z. B. der Selbstbestimmungstheorie (Deci & Ryan, 1985). Die Entwicklung von Interesse verläuft zunächst über situationales Interesse, welches z. B. durch einen interessanten Lernkontext gefördert wird. Aus diesem situationalen Interesse kann anschließend ein langfristiges individuelles Interesse entstehen. Dabei führt nicht jedes situationale Interesse zwangsläufig zu einem individuellen Interesse. Mitchell (1993) unterscheidet in diesem Zusammenhang zwischen Catch- und Hold-Faktoren. Während Catch-Faktoren (z. B. Computereinsatz, Gruppenarbeit) das anfängliche Interesse eines Lernenden wecken können, sorgen Hold-Faktoren (sinnstiftender Kontext, Eingebundenheit) für ein andauerndes situationales Interesse am Gegenstand (Mitchell, 1993).

Es bestehen zum Teil unterschiedlich starke Interessensentwicklungen zwischen den Fächern und innerhalb der Fächer (Großmann et al., 2021). Insgesamt scheint das Interesse an den naturwissenschaftlichen Fächern bei Schülerinnen stärker abzunehmen als bei Schülern (Krapp, 1998).

Personen werden durch intrinsische und extrinsische Faktoren zu einer Handlung bewegt. Dabei hat sich gezeigt, dass intrinsisch motivierte Menschen oftmals mehr Interesse, Selbstsicherheit und Freude erzeugen, wodurch eine höhere Performanz der Handlung und Kreativität erreicht werden (Deci & Ryan, 1991). Die Selbstbestimmungstheorie (engl. Self-Determination Theory, SDT) legt einen differenzierteren Blick auf das Konstrukt Motivation und versucht einzelne Facetten der Motivation zu ergründen (Ryan & Deci, 2000).

Das Interesse kann als ein Hauptindikator der intrinsischen Motivation angesehen werden. Digitale Medien können in diesem Zusammenhang die Motivation und den Lernzuwachs beim Lernen erhöhen. Dabei zeigen insbesondere digitale Werkzeuge (z. B. Tutoring-Systeme) große Effekte, die zu einem größeren Autonomie- und Kompetenzerleben beitragen (Hillmayr et al., 2020).

In Verbindung mit digitalen Werkzeugen sowie dem Interesse und Lernerfolg spielt die Usability eine wichtige Rolle (Karapanos et al., 2018). Der Begriff der Usability ist ins Deutsche am zutreffendsten mit Benutzerfreundlichkeit oder Benutzbarkeit zu übersetzen. Ein weiterer Ausdruck ist die User Experience (Benutzererfahrung). Teilweise werden diese Begriffe gleichbedeutend verwendet, wobei die User Experience neben der Funktionalität technischer Systeme auch deren Ästhetik und Design in den Blick nimmt (Richter & Flückiger, 2016).

Die Benutzbarkeit eines Softwaresystems umfasst Aspekte wie die Einfachheit des Erlernens der Nutzung oder die Effizienz, mit der Aufgaben erledigt werden können. Gleichzeitig müssen passende Funktionen vorhanden sein, um diese Aufgaben zielgerichtet abschließen zu können. Die ISO-Norm 9241–11 bestimmt zur Gebrauchstauglichkeit eines Produkts dessen Effektivität, Effizienz und Zufriedenheit in einem bestimmten Aufgabenkontext (Richter & Flückiger, 2016). Die Usability kann über verschiedene Methoden, wie z. B. Fragebögen, erfasst werden (Holzinger, 2005; Richter & Flückiger, 2016).

In einer Studie von Karapanos et al. (2018) konnte ein signifikanter Zusammenhang zwischen der Usability eines Systems und dem Lernerfolg in einem Biologieleistungskurs gezeigt werden. Die Autorinnen und Autoren begründen diesen Zusammenhang anhand der Cognitive Load Theory (Sweller, 1988), wodurch eine schlechtere Usability zu einem höheren Extraneous oder Intrinsic Cognitive Load und damit zu einem geringen Lernzuwachs führt. Auch zeigt sich in dieser Studie ein schwacher positiver Zusammenhang zwischen der Benutzerfreundlichkeit und dem Interesse, wobei dieser Effekt durch eine positive Erwartungshaltung gegenüber dem Produkt verstärkt werden kann (Karapanos et al., 2018; Raita & Oulsavirta, 2011). Zu einem ähnlichen Ergebnis kommen Meiselwitz und Sadera (2008). Sie weisen darauf hin, dass für eine dauerhafte Verwendung von elektronischen Lernumgebungen die Bedienbarkeit eine zentrale Rolle spielt.

Bei der vorliegenden Studie handelt es sich um eine quasiexperimentelle Feldstudie (Rost, 2013). Die Intervention fand im Zeitraum zwischen Sommer und Winter 2020 statt. Die Kontrollgruppe konnte aufgrund der Pandemie erst im Sommer 2021 und folglich an anderen Schulen erhoben werden. Die Stichprobe umfasst in der Summe 666 Schülerinnen und Schüler, wovon 468 der Interventionsgruppe und 198 der Kontrollgruppe zugeordnet sind (Tab. 7.1 und 7.2).

Bei der Unterrichtsreihe für die Mittelstufe, mit Ausnahme der Einführungsstunde, handelte es sich um eine adaptierte und erprobte Unterrichtsreihe von Czubatinski et al. (2020). Die Inhalte der Arbeitsmaterialien wurden in HD integriert und mit einem multimedialen Differenzierungsangebot (Hilfen und Vertiefungsaufgaben) angereichert. In der ersten Stunde erfolgte eine Einführung in den Umgang mit Tablets. In der Kontrollgruppe wurde die Einführung in die Nutzung des analogen Differenzierungsangebots anhand des gleichen Themas erprobt. Ab der zweiten Stunde begann die Unterrichtsreihe zum Thema Farbstoffe in Lebensmitteln. Die Unterrichtsreihe der Oberstufe wurde von Nieß et al. (2020) adaptiert und nach dem gleichen Verfahren wie oben angepasst. Sie behandelte den gleichen Kontext mit einer anderen Akzentuierung (Abb. 7.2).

Die gesamte Erhebung wurde vom Studienleiter selbst durchgeführt, um lehrpersonenabhängige Effekte auszuschließen. Nach jeder Stunde wurde begleitend zur Intervention ein Fragebogen eingesetzt. Das Interesse wurde durch eine Subskala des Intrinsic Motivation Inventory (IMI, CSDT, 2020) und die Usability nach Lund (2001) erhoben. Er unterteilt in drei bis vier verschiedene Skalen: Nützlichkeit (Usefulness), Zufriedenheit (Satisfaction), Einfachheit des Lernens der Nutzung (Ease of Learning) und Einfachheit der Nutzung (Ease of Use) – USE. Die beiden Letzten werden teilweise auch zu einer Skala vereint. Das originale Instrument umfasst 30 Items, wobei manche Items eine geringe Faktorladung aufweisen (Lund, 2001). Für den Unterricht wurde eine gekürzte Fassung des USE erstellt, für die zunächst die Items mit hohen Faktorladungen übersetzt und geeignete Items mit einer einfachen verständlichen Formulierung ausgewählt wurden.

Da in der hier vorliegenden Studie mit HDS eine reduzierte Anzahl an Items des ursprünglichen USE und eine übersetzte Version eingesetzt wurden, wurde eine konfirmatorische Faktorenanalyse mit dem R-Paket lavaan (Rosseel, 2012) durchgeführt. Aufgrund der fehlenden multivariaten Normalverteilung wurde sich für einen robusten MLM-Schätzer entschieden. Dabei konnte ein akzeptables bis gutes Modell (Hu & Bentler, 1999) bestehend aus den ursprünglichen drei Faktoren Zufriedenheit, Nützlichkeit, Einfachheit des Lernens (Modell 1) oder Einfachheit der Nutzung (Modell 2) gebildet werden. Das Faktorenmodell verschlechtert sich hingegen etwas, wenn alle vier Faktoren in die Analyse miteinbezogen werden (Modell 3), da unter anderem eine hohe Korrelation zwischen den Items der zuletzt genannten Faktoren und damit Kreuzladungen vorliegen. Eine Zusammenlegung der Faktoren Einfachheit des Lernens und Einfachheit der Nutzung führte zum schlechtesten Modell (Modell 4). Da Lund (2001) sowohl von einem Modell mit drei als auch mit vier Faktoren ausgeht, wurde sich aufgrund des geringeren AIC für das Modell 3 entschieden, da die Zusammenlegung der Faktoren Ease of Learning und Ease of Use zum schlechtesten Modell führte (Tab. 7.3).

In Tab. 7.4 sind die Reliabilitäten der einzelnen Instrumente dargestellt. Bei allen Instrumenten wurden fünfstufige Items vom Likert-Typ eingesetzt, wobei ein höherer Wert (1–5) eine größere Zustimmung ausdrückt.

Es wurden nur Individuen in die Auswertung miteinbezogen, die im Fall der Usability in zwei der vier Stunden oder im Fall des Interesses in allen vier Stunden anwesend waren. Fehlende Werte wurden durch den EM-Algorithmus mittels der R-Bibliothek norm2 (Schafer, 2021) ersetzt. Zuvor wurden Fälle ausgeschlossen, bei denen die Bearbeitung von mehr als 50 % der Items pro Skala fehlten. Auf den gesamten Fragebogen bezogen lag der Anteil der fehlenden Werte auf einem niedrigen Niveau (< 1 %). Die Gruppenunterschiede wurden mittels eines Welch-Tests (geringe Varianzhomogenität) und gepaarten t-Tests verglichen. Die Normalverteilung war in keiner Skala erfüllt, was allerdings nach Kubinger et al. (2009) keine notwendige Voraussetzung für den Welch-Test darstellt. Ausreißer wurden bewusst nicht aus den Datensätzen entfernt, da der Stichprobenumfang groß war und zudem die gesamte Breite an Rückmeldungen einbezogen werden sollte. Insgesamt war die Anzahl der starken Ausreißer (1. Quartil – 3*Interquartilabstand, 3. Quartil + 3*Interquartilabstand) über alle Faktoren jedoch gering (Usability: < 3 %; Motivation: < 1 %). Die Zusammenhangsanalysen wurden nach Pearson bestimmt.

Der Vergleich zwischen der Mittel- und Oberstufe der Interventionsgruppe nach der erstmaligen Nutzung (Testzeitpunkt 1: TZP 1) zeigte einen signifikanten Unterschied in der Bewertung der Nützlichkeit des Systems (US_N) und der Zufriedenheit (US_Z), der auch bestehen bleibt, wenn nur Gymnasiastinnen und Gymnasiasten betrachtet werden (Tab. 7.5).

Demnach bewerteten Lernende der Oberstufe die Usability bezüglich dieser beiden Faktoren schlechter. Unterschiede zwischen den Geschlechtern wurden bezüglich dieser Fragestellung sowohl in der Mittelstufe (US_N: p = .52, US_Z: p = .07, US_EN: p = .88, US_EL: p = .91) als auch in der Oberstufe (US_N: p = .67, US_Z: p = .79, US_EN: p = .55, US_EL: p = .08) nicht festgestellt.

In der Mittelstufe gab es keine signifikanten Unterschiede zwischen den Schulformen (US_N: p = .53, US_Z: p = .60, US_EN: p = .15, US_EL: p = .29). Für die Oberstufe sind in diesem Zusammenhang nicht genügend Datenpunkte für die Gesamtschule vorhanden, weshalb auf einen Vergleich verzichtet wurde.

Auch am Ende der Unterrichtsreihe (TZP 2) existieren signifikante Unterschiede hinsichtlich der Nützlichkeit des Systems und der Zufriedenheit zwischen der Mittel- und Oberstufe (Tab. 7.6).

Sowohl in der Mittel- als auch in der Oberstufe schätzten die Schülerinnen die Nützlichkeit des Systems zum TZP 2 schlechter ein als die Schüler. Dieser Effekt ist in der Mittelstufe ausgeprägter. Das Signifikanzniveau wird nur knapp nicht erreicht (US_N: M(w.) = 3.77 (1.14), M(m.) = 3.98 (.99), t(342.54) = 1.86, p = .06, d = .2). In der Mittelstufe bewerteten die Lernenden des Gymnasiums die Zufriedenheit, Einfachheit der Nutzung und Einfachheit des Lernens (der Nutzung) signifikant besser (Tab. 7.7). Für die Oberstufe sind nicht genügend Datenpunkte in der Gesamtschule vorhanden.

Bei Betrachtung der Unterschiede zwischen der ersten Erhebung, nach erstmaliger Nutzung des Systems, und nach der zweiten Erhebung, am Ende der Unterrichtsreihe, zeigt sich eine signifikante Abnahme der Einschätzung der Usability über alle Gruppen hinweg (Abb. 7.3). Unter Betrachtung der gesamten Stichprobe nimmt diese bezüglich aller Faktoren signifikant ab (Tab. 7.8).

Ein Vergleich zwischen Kontroll- und Interventionsgruppe zeigt zum TZP 1 in der Mittelstufe und Oberstufe ein signifikant geringeres Interesse in der Kontrollgruppe als in der Interventionsgruppe (Tab. 7.9).

Unterschiede zwischen den Schulformen bestehen in der Interventionsgruppe nicht (Mittelstufe: p = .22; Oberstufe: p = .24). Signifikante Unterschiede hinsichtlich des Interesses zwischen den Geschlechtern sind lediglich in der Mittelstufe (Kontrollgruppe) zu finden (M(m.) = 3.39 (.91), M(w.) = 2.83 (1.04), t(139.52) = 3.52, p = .001, d = .58).

Ein Vergleich zwischen den Gruppen über alle vier Messzeitpunkte wird zu einem späteren Zeitpunkt veröffentlicht. Einen ersten Ausblick liefert Abb. 7.4.

Um die Daten der Einschätzung der Usability mit denen des Interesses zu vergleichen, wurde ein Matching beider Datensätze durchgeführt (Mittelstufe: n = 314, Oberstufe: n = 101, Geschlechter gleich verteilt).

Bei Betrachtung der Korrelation über alle Nutzergruppen besteht zwischen dem Interesse und der Einschätzung der Usability nach dem erstmaligen Einsatz von HDS ein mittlerer bis starker signifikanter Zusammenhang (Tab. 7.10).

Die Effektstärken sind für die Mittel- und Oberstufe sowie für die Geschlechter in etwa gleich. Nach der letzten Unterrichtsstunde blieben die Korrelationen mit einer mittleren bis hohen Effektstärke auf einem signifikanten Niveau.