13. Feedbackorientierte Lernumgebungen zur Gestaltung offener Aufgabenstellungen mit Machine Learning, AR und 3D-Druck

Die Software STACK (Sangwin, 2013) ermöglicht aufgabenbezogenes Feedback zu Aufgaben mit offener Eingabe mathematischer (in der Regel algebraischer) Objekte. Die eingegebenen mathematischen Objekte können dann automatisiert von einem Computer Algebra System (CAS) ausgewertet werden. Ein vordefiniert programmierbarer Feedback-Entscheidungsbaum kann in Echtzeit adaptives Feedback generieren, das beispielsweise in Aufgabenbearbeitungen typische Fehler erkennt und auf diese reagiert.

Am Übergang Schule-Hochschule ist der Einsatz von STACK verbreitet, da automatisiertes Feedback für komplexe Standard-Aufgabenstellungen genutzt werden kann. Außerdem bietet STACK eine langfristig nachhaltige kostenneutrale Alternative unter Bedingungen, bei denen sonst nur statische Musterlösungen als Handreichung ausgegeben werden könnten.

Mittels STACK können Aufgaben und Aufgabenstellungen (regelbasiert) randomisiert werden. In Verbindung mit der Anlegung umfangreicher Aufgabenpools können so sich wiederholende Lernsequenzen durch immer andere Aufgaben und variierende Aufgabenstellungen an Attraktivität gewinnen (z. B. Aufgabenpool DOMAIN, Link: https://​db.​ak-mathe-digital.​de/​).

Schon während der Eingabephase erfolgt eine Reaktion über Feedback: Versteht der Computer die Eingabe? Entspricht die Antwort der erwarteten Syntax? Usw.

Direkt nach der Abgabe der Antwort wird die Auswertung des Feedbackbaums in Gang gesetzt, was die unmittelbare Rückmeldung eines adaptiven Feedbacks an die bearbeitende Person ermöglicht. Diese Adaptivität der Rückmeldung ist sonst nur vergleichbar mit der einer persönlichen Betreuung.

Liegt der Fokus eher auf der Gabe summativen Feedbacks, so kann auch erst nach Abschluss der Bearbeitung aller Testaufgaben ein Gesamt-Feedback ausgegeben werden.

Durch den Einsatz des sogenannten FeedbackKnopfers erhalten STACK-Aufgabenbearbeitende bewusst ein etwas zeitlich verzögertes Feedback, um auch innerhalb der Bearbeitung einer STACK-Aufgabe Zeit für Überdenkphasen zu schaffen (Pinkernell et al., 2019).

Die mathematikdidaktische Feedbackforschung rund um die Software STACK arbeitet mit genuin mathematikdidaktischen Interessen, basierend zumeist auf dem Konzept „typischer Fehler“. Das Konzept des „typischen Fehlers“ wird von den primär hochschuldidaktischen Akteuren in diesem Bereich aufgegriffen. Beispiele für die Konzeption von automatisiert auswertbaren Aufgaben und die dazu angestrebte theoretische Identifizierung typischer Fehler sowie deren empirischer Relevanz für die Praxis finden sich bei Nakamura et al. (2021) oder auch Landenfeld et al. (2021). Ursprünglich entstammen solche Überlegungen der Entwicklung von Distraktoren für Ankreuzaufgaben (Moosbrugger & Kelava, 2012, S. 45).

Das „GeoGebraSTACK_Helpertool“ (Lutz, 2019) kann als Hilfsmittel bei der Erstellung graphisch randomisierter Aufgaben eingesetzt werden. Die Eingabe einer Antwort erfolgt durch Manipulation von Objekten in einer GeoGebra-Datei, z. B. durch Drag-and-Drop-Verschiebung eines Punktes auf gewünschte Koordinaten. Auch bei der eigentlichen Feedbackausgabe lassen sich mittels des Tools graphisch interaktive aufgabenbezogene Elemente nutzen.

„Input to create feedback“, „processing input“ und „output feedback“ beschreiben die Ebene Feedbackworkflow und erfassen die Phasen der Feedbackgenerierung, in Abstraktion des Vorgehens bei der Erstellung von STACK-Aufgaben. Hier verortet sind die Ansatzpunkte der Qualitätssicherung des Feedbackdesignenden in empirischer Untersuchung des Einsatzes. Zur Beschreibung der Vorgehensweise:

Die Art der Eingabe/Interaktion muss zunächst festlegt werden. Die Auswahl kann z. B. auf Basis von fachdidaktisch-theoretischen Annahmen getroffen werden. Wird in der Eingabeart auf theoretischer Basis ein fachdidaktischer Mehrwert vermutet? Welcher? In welcher Hinsicht sollte das entwickelte Material „intelligentes Material“ genannt werden?

Was meint „intelligentes Material“? „Material, das seine Regeln kennt“: Intelligent konstruiertes Material weist den interagierenden Menschen sofort auf unerlaubte Materialnutzung hin bzw. lässt Regelverstöße gar nicht erst zu. Als Beispiele aus dem Alltag seien hier genannt: das Kfz, das sich mit penetrantem Piepen bemerkbar macht, sobald mit höherer Geschwindigkeit als Schrittgeschwindigkeit ohne arretierten Sicherheitsgurt gefahren wird, oder der Schachcomputer, der bei einem nicht regelkonformen Zug ablehnt, einen weiteren Spielzug seinerseits vorzunehmen. Die Art der „Intelligenz eines Materials“ beeinflusst wesentlich, wie Feedback inhaltlich orientiert werden kann. Ist beispielsweise erwartbar, dass den Lernenden zu viel oder zu wenig abgefordert werden könnte? Die „Intelligenz des Materials“ kann die zur Lösung der Aufgabe benötigte Kompetenz verändern. Wie lässt sich die Kompetenz beschreiben, die benötigt wird, um eine korrekte Lösung zu erstellen?

Der Feedbackdesignende legt fest, wie die eingegebenen Daten zu analysieren sind. Die Suche nach Lösungswegen ist abhängig von Anspruch und Komplexität des Auswertungsverfahrens und des eigenen technischen Könnens. Umgesetzt werden kann dies mathematisch wie informatisch durch den Einsatz fertig verfügbarer Authoring-Tools oder eigens erstellter Programmierung. Wichtige Entscheidungen zur deterministischen oder nicht-deterministischen Auswertung stehen dabei an.

Der Feedbackdesignende muss hier Entscheidungen treffen, welche Art von Feedback dem Lernenden zurückgemeldet werden soll und wie das Feedback ausgestaltet sein soll.

Werden die Anweisungen zur Eingabe durchgeführt, wie vom Designenden geplant? Weist die praktische Durchführung Schwächen auf bei der Erkennung der Probanden-Abgaben? Bringt im Vergleich eine händisch durchgeführte Analyse eindeutigere Ergebnisse?

Gelingt es, reale Abgaben automatisiert korrekt zu verarbeiten in vergleichbarer Qualität einer händisch durchgeführten Analyse? Wäre also eine qualitativ forschende Person zu vergleichbaren Auswertungen gekommen?

Gelingt es, die Analysen automatisiert in ein Feedback-Output zu überführen, so wie es qualitativ vergleichbar mit einer händisch durchgeführten Analyse möglich wäre? Erweist sich das automatisierte Feedback als zuverlässig: Kommt das automatisierte Feedback also zu Ergebnissen, die aus theoretischer Sicht für Lernzuwächse als dienlich gelten können?

Prominenteste Forderung: Trägt das als zuverlässig erkannte automatisierte Feedback tatsächlich zu einem Lernerfolg bei?

Im Sinne einer Design-based Research (The Design-Based Research Collective, 2002) muss der Feedbackdesignende in einem Wechselspiel die Elemente Design und Qualitätssicherung vereinen.

Die Wahl des Begriffs „Designentscheidung“ verdeutlicht, dass die Mathematikdidaktik zukünftig als agierende Wissenschaft tätig sein soll, die nicht nur auf Softwareprodukte reagiert.

Mit STACK können nur syntaktisch korrekt dargestellte algebraische Eingaben ausgewertet werden. Das Eingabeformat soll nun erweitert werden. Eingabeformat meint hier die aufgabenbearbeitende dokumentierte und analysierte Interaktion.

Trotzdem sollen die Eingabeformate (vgl. wie bei STACK) automatisiert auswertbar bleiben und automatisiert die Gabe von Feedback generieren.

Machine-Learning-Technologien können dazu genutzt werden, um solche Anforderungen an Eingabeformate umzusetzen. Dabei übernimmt ML verschiedene Aufgaben im Auswertungsprozess. Je mehr Kompetenz ML bei der fachdidaktischen Bewertung zugesprochen wird, desto wichtiger wird die fachdidaktische Kontrolle durch eine menschliche Kontrollinstanz. Eine ausführliche Darstellung der Rolle bei der Qualitätssicherung in Auswertungsprozessen, an denen ML beteiligt ist, findet sich bei Lutz (2022c).

Die Erfassung handschriftlicher Notizen ist der ursprünglichste Ansatz, Feedback für Lernende in mathematischen Situationen durch Machine Learning nutzbar zu machen (LeCun et al., 1998). Handschriftlich erstellte Zahlen und Buchstaben werden optisch erfasst und computerlesbar umgewandelt an eine (CAS-)Software-Komponente weitergegeben, die daraufhin eine Feedbackausgabe initiiert.

Sehr schnell stößt man dabei an Grenzen, die oft daher rühren, dass z. B. algebraische Formeln international sehr unterschiedlich handschriftlich ausgeführt werden.

Vorhandene ML-Modelle sind meist auf englischsprachigen Standard eingerichtet. Durch die international verschieden ausgeführten Schreibweisen entstehen so oft Probleme bei der Erkennung. Prominentestes Beispiel hierfür dürfte die Problematik der Unterscheidung der Schreibweise der Ziffern „1“ und „7“ sein. In der MNIST-Datenbank (LeCun et al., 1998), einer frei verfügbaren Datenbank von handschriftlichen Ziffern, findet sich beispielsweise sehr häufig die im deutschsprachigen, jenseits der römischen Schreibweise, vollkommen unübliche Schreibweise der 1 als einzelner vertikaler Strich. Dadurch werden in Deutschland übliche Schreibweisen der Ziffer „1“ oft fälschlich als „7“ erkannt. Auch die Ziffern 3, 4 und 9 sind anfällig in Bezug auf Verwechslungen. Schon dieses profane Beispiel zeigt die systematische Fehleranfälligkeit bei der Auswertung neuer Daten durch ML-Modelle.

Ursachen für systematische Fehleinschätzungen können längst nicht immer so einfach identifiziert werden, sind aber meist zurückführbar auf die unreflektierte Verwendung erhobener Daten aus zu divergenten Kontexten. Diese versteckten intransparenten Fehlerquellen zu erkennen, ist Aufgabe der fachdidaktischen Forschung.

Spätestens mit der sogenannten Freihandskizze in GeoGebra ist es jedem möglich, Skizzen automatisiert auszuwerten und in mathematische Objekte zu verwandeln. Innerhalb von Forschungsprojekten ist die Funktionalität für spezifische Aufgaben bereits wesentlich ausgereifter als bei den Programmen, die der Allgemeinheit zur Verfügung stehen.

Bei entsprechend hohen Teilnehmeranzahlen lohnt es sich, ein Machine-Learning-Modell so zu trainieren, dass auch Eingaben zukünftiger Erhebungen automatisiert ausgewertet werden können.

Vorausschauendes Design hilft dabei, das Spektrum möglicher individueller Eingaben vorausschauend einzubeziehen und abzudecken. Die Herausforderung dabei ist, die Diversität möglicher Abgaben abzuschätzen (Lutz, 2021a, b).

Seit Bruner (1964) ist die Verknüpfung von physischen Materialien, ikonischen und symbolischen Darstellungen für die Erarbeitung mathematischer Themengebiete geläufig.

Die zwingende Notwendigkeit der Verwendung physischer Materialien bei Lernprozessen wird von Jackiw und Sinclair (2017) mit Applikationen wie TouchCounts/TouchTimes infrage gestellt. Die Verwendung von Multitouch-Gesten eröffnet ganz neue Interaktionsformen und Zugänge zum Lernen. Die Entwicklung einer vergleichbaren Entsprechung zur Arbeit mit klassisch physischem Material wird bei Jackiw und Sinclair (2017) nicht angestrebt.

Der nachwirkende Einfluss von Bruner wiederum für die Arbeit in den meisten schulmathematischen Bereichen auf die Lernmaterialgestaltung in Primar- und Sekundarstufe ist nicht zu übersehen.

Forschung, die das Themenfeld „Experimentieren“ im Mathematikunterricht (Ludwig & Oldenburg, 2007) in den Fokus nimmt, setzt oft auf die Verwendung physischer Materialien. Verfolgt wird hier eine strukturierte Beschäftigung und Bezugnahme zu Ergebnissen aus den Naturwissenschaftsdidaktiken.

Eine aktuelle Untersuchung über die Wechselwirkung der Arbeit mit physischen Materialien und Simulationen findet sich bei Digel und Roth (2020). Ein weiterer Ansatz beschäftigt sich mit der Verbindung von der Arbeit mit physischen Materialien und automatisiert digitalem Feedback (Lutz, 2021c).

Augmented Reality wird in Bildungssettings bislang, zumeist auch aus umsetzungspraktischen Gründen, im engen Sinn gefasst (siehe Definition im Glossar). Die Begrifflichkeit „Augmented Reality“ umfasst dabei in der Regel lediglich die visuelle Anreicherung eines Videostreams um virtuelle Objekte, die in die reale Szenerie eingeblendet werden. Für die „Zukunft des MINT-Lernens“ sollte auch der Begriff „Augmented Reality“ erweitert betrachtet werden im Sinne von Augmentierung der „Realität“. Die erweiterte Auslegung von Augmentierung sollte sich dabei nicht nur auf vermeintlich physische Elemente, wie etwa eine in den Raum projizierte Pyramide, beschränken. Die reale Szenerie kann beispielsweise auch mit Elementen auditiver Art erweitert werden: So arbeiten aktuelle Stadtführer schon mit der automatisierten Verbindung von Geodaten zum eigenen Standort, Umrisserkennungen von relevanten Gebäuden und dazugehörigen historischen Informationen in Form eines Audio-Guides.

Begriffe wie Machine Learning und Augmented Reality kommen ursprünglich aus rein technischen Einsatzszenarien.

Eine Übertragung und anwendungsbezogene Anwendung darf daher nicht unadaptiert in die Mathematikdidaktik hineingetragen werden. Initiiert man aus dem speziellen Blickwinkel der Mathematikdidaktik heraus eigens entwickelte Umsetzungen auf Basis vorhandener Frameworks müssen in direkter Konsequenz Designentscheidungen getroffen werden. Nur wenn sich die Mathematikdidaktik auch mit der Konzeption der technischen Umsetzung beschäftigt, kann sie in der praktischen Ausführung ihr volles Potenzial entfalten.

Machine Learning verzahnt mit 3D-Druck

Situation: An einem Tisch sitzend sollen beidhändig Manipulationen an physischem Material vorgenommen werden. Realistischerweise steht dazu in der Praxis nicht die Möglichkeit eines Head-up-Displays zur Dokumentation in Echtzeit zur Verfügung. Wie also umsetzen? Ein Lösungsweg könnte eine adaptive auditive Rückmeldung generiert mittels populär verbreiteter Webcam sein. Dazu wurden Machine-Learning-Modelle trainiert, die die Lage und Position verschiedener physischer Anschauungsmaterialien erkennen. Anhand vordefinierter Feedbackbäume wird adaptiv audio-visuelles Feedback gegeben. Durch den Autor konzipierte Beispielumsetzungen für den Einsatz in Lehr-Lern-Laboren finden sich in den Abb. 13.2, 13.3 und unter https://​tim-lutz.​de/​die-zukunft-des-mint-lernens.​

Unterstützt wird die Standardisierung der zu bewertenden Situation und damit der ML-Modelle durch die Möglichkeit, einen 3D-Druck anzufertigen. Gezielt für Tisch-Material-Situationen trainierte ML-Modelle arbeiten dabei „Hand in Hand“ mit den eigens dafür konfigurierten 3D-gedruckten Tools (z. B. iPad-Ständer). Auch die Arbeitsmaterialien selbst können mit der Technik des 3D-Drucks so standardisiert werden, dass sie in großer Stückzahl ubiquitär verfügbar gemacht werden können (z. B. Kreisanteile). Das ML-Modell benötigt den durch von der speziellen Halterung herbeigeführten Winkel, um die Kreisanteile für ein Feedback mit hoher Wahrscheinlichkeit zu erkennen.

Der Einsatz von Elementen der Embodied Cognition (Tran et al., 2017), also dem Zusammenhang zwischen Kognition, Sensorik und Motorik, kann bei der Einführung von Baumdiagrammen von Vorteil sein. Die Verwendung von Kopf-Zahl-Plättchen lässt nur zwei mögliche Zustände zu, gebunden in einem einzigen Gegenstand. So wird aus dem physisch vorhandenen lapidaren Gegenstand geradezu ein Objekt philosophischer Betrachtung (vgl. Januskopf).

Link: Video zur Arbeit mit Baumdiagrammen: https://​tim-lutz.​de/​die-zukunft-des-mintlernens/​#Baumdiagramm.​

„Force Feedback“ ist ein Funktionsprinzip, bei dem ein durch analoge Eingaben erhaltenes, digital generiertes Feedback mitunter auch wieder analoge Reaktionen hervorbringt. Force Feedback kommt in Profi-Flugsimulatoren wie Full-Motion- oder Full-Flight-Simulatoren zum Einsatz. Dabei werden z. B. Witterungseinflüsse, wie Seitenwind, und die Notwendigkeit, entsprechend gegenzusteuern, durch analogen Widerstand am Steuerelement simuliert. Ähnliche Techniken werden in der nach immer neuen Immersionsansätzen suchenden Spieleindustrie bei Auto-Simulator-Lenkrädern und Gamecontrollern nachgeahmt. Auch Handyhersteller setzen Force-Feedback-Anwendungen ein. Der Vibrationsmotor des Handys „bestätigt“ den Empfang einer Benutzereingabe durch physische Reaktion wie Vibrieren.

Durch die, wenn auch digital generierte, physische Rückmeldung soll dem Benutzenden die Empfindung echten sensitiven Feedbacks nahegebracht werden.

Ein Messgerät überwacht fortwährend den Abstand einer Person zur Kamera. Die jeweilige Entfernung wird in einem Abstand-Zeit-Diagramm aufgezeichnet. Ziel dabei ist, der sich bewegenden Person einen sensitiven Eindruck über die Dynamik eines Funktionsgraphen zu vermitteln. Faktoren wie Beschleunigung, Geschwindigkeit und absolute Position werden dabei „erfahren“ durch „Erlaufen“. Durch Rückkopplung der Aufzeichnung des Bewegungsmusters in Echtzeit wird die körperliche Erfahrung mit dem mathematischen Gegenstand verwoben. Man sieht auf dem Bildschirm die unmittelbare Auswirkung des eigenen Tuns, verknüpft mit der Bewegungserfahrung des eigenen Körpers (vgl. Hattie „self“). Das unmittelbare Feedback kann visuell und ergänzend auditiv unterstützt werden, um so „Eigenwahrnehmung“ und mathematischen Lerngegenstand in Beziehung zu setzen.

Verschiedene Bewegungsmuster wirken sich unterschiedlich aus: Abruptes Stehenbleiben in Verbindung mit raschem Bewegungsmusterwechsel „fühlt“ sich anders an als Gehen mit gleichbleibender Geschwindigkeit oder Gehen mit gleichmäßiger Beschleunigung des Ganges. Die absolute Entfernung von der Kamera ist dabei unabhängig vom Handlungserlebnis.

Die Durchführung solchen Funktionsgraphen-Laufens war bislang nur mit spezieller Ausstattung möglich. Nun steht mit der Web-App „Funktionenlaufen“ eine Software zur Verfügung, bei der lediglich eine Webcam oder Tablet-Kamera benötigt wird.

Zur Funktionsweise: Mithilfe von Machine Learning wird die durchführende Person erfasst und nach dem Vornehmen einer Kalibrierung wird deren Abstand zur Kamera berechnet. Der berechnete Abstand dient dazu die y-Koordinate eines Punkts in einer GeoGebra-Datei in Echtzeit zu steuern.

Die App hat verschiedene Optionen, die es ermöglichen, sowohl voreingespeicherte parametrisierte wie auch selbstgezeichnete Graphen nachzulaufen.

https://​tim-lutz.​de/​funktionenlaufen​