Formative Evaluation digitaler Weiterbildung im Handwerk: Eine Prozessbeschreibung zur Förderung der digitalen Transformation im Tischler- und Steinmetzhandwerk

Die „ex-ante“-Phase umfasste alle Vorüberlegungen zu den vorliegenden handwerksspezifischen Rahmenbedingungen. Dazu gehörte die Ausformulierung des zu evaluierenden Inhaltsbereiches, die antizipierten allgemeinen Zieldimensionen, die Planung der Datenerhebung und -auswertung, des Feldzugangs und die Zeitplanung (vgl. Abb. 1). Ausgehend vom DBR wurde für das Weiterbildungsangebot zunächst der allgemeine Evaluationsbereich definiert und besteht demzufolge aus einem Web Based Training (WBT) in Form eines digitalen CNC-Lernplatzes zur Vermittlung von CNC-Basiskenntnissen durch fünf CAD (Computer-Aided Design) – und fünf CAM (Computer-Aided Manufacturing)-gestützte Aufgaben. CAD bezieht sich auf das rechnergestützte Konstruieren von Teilen oder Produkten, die anschließend mithilfe von CAM in definierten Fertigungsabläufen geplant und erstellt werden. Im Rahmen des Weiterbildungsangebots bilden beide Softwareanwendungen die essenzielle Basis für die Herstellung eines Teils oder Produktes an der CNC-Maschine durch Prozesse wie Schneiden, Bohren oder Fräsen. Nach Abschluss des webbasierten Trainings folgt eine kurze Präsenzphase an der CNC-Maschine, während der ein Werkstück aus den CAD-/CAM-Aufgaben praktisch hergestellt wird. Die Transferierbarkeit der Lernaufgaben wird in Vorbereitung auf die Präsenzphase an der CNC-Maschine durch die Entwicklung von zwei Wissenstests zu den Bestandteilen der CNC-Maschine sowie zum Produktionsprozess bei der Herstellung eines Produktes an der CNC-Maschine gewährleistet. Nach erfolgreicher Absolvierung dieser vorgelagerten Tests können die Teilnehmer:innen an ausgewählten Standorten einen Präsenzphasentermin innerhalb des Lernplatzes buchen. Vor Ort werden Sie von einer Lehrperson bei der Herstellung des Werkstücks an der CNC-Maschine geleitet und unterstützt. Ziel der Präsenzphase ist die Vermittlung von Praxiskönnen und eine Validierung der im Lernplatz erlernten CNC-Kenntnisse. Die Implementierung des Lernplatzes erfolgte auf dem Open Source Lernmanagementsystem ILIAS mit dem Ziel die Nutzer:innengruppe von Fachkräften, Quereinsteiger:innen und Weiterbildungsinteressierten vorrangig aus dem Tischler- und Steinmetzhandwerk zu adressieren. Das digitale Weiterbildungsangebot bietet den Vorteil, dass es das Erlernen von Basiskenntnissen im Umgang mit CNC-Technik unabhängig von der Teilnehmendenzahl sowie zeit- und ortsflexibel ermöglicht. Es vermittelt CNC-Kenntnisse, die nicht an spezielle Maschinenhersteller oder das Wissen erfahrener Kolleg:innen gebunden sind, und gewährleistet somit einen personenunabhängigen und niedrigschwelligen Einstieg. Als allgemeine Zieldimensionen, die langfristig erfüllt werden sollen, um ein positives Nutzungserlebnis und Lerneffekte zu garantieren, wurden gestalterische, akzeptanz- und lernmotivationsbezogene Kriterien festgelegt.

Angesichts des Defizits an bestehenden Referenzwerten oder wissenschaftlichen Publikationen, die die spezifischen Lernbedürfnisse und Erwartungen von Personen im Handwerkssektor in Bezug auf digitale Bildungsformate z. B. in Hinblick auf zeitliche Ressourcen oder Präferenzen für Gamification untersuchen, war eine tiefergehende Zielgruppenanalyse erforderlich. Diese ermöglichte eine präzise Differenzierung der Zieldimensionen. Zur Zielgruppenanalyse gemäß des UCD-Prozesses wurden Charakteristika und Anforderungen der Zielgruppe bzw. des Nutzungkontextes mittels Fragebögen, Interviews auf Handwerksmessen mit einem Telepräsenzroboter (TPR), Personas, Customer Journeys und User Stories systematisch erfasst (Tasliarmut et al. 2022; Friedrich et al. 2024). Diese vorangestellte Maßnahme in der „ex-ante“-Phase berücksichtigte die Integration der Zielgruppe in den Entwicklungsprozess und stellte sicher, dass das erste Design des Lernplatzes eng an die spezifischen Bedürfnisse und Präferenzen der Nutzer:innen ausgerichtet wurde. So konnten relevante Informationen über die Erwartungen der Nutzer:innen gesammelt werden, die beispielsweise ihre Beweggründe für Weiterbildungen offenlegten sowie den Status quo zu CNC-Kenntnissen und zur Verfügbarkeit von technischen und zeitlichen Ressourcen darlegten. Im Rahmen der Zielgruppenanalyse wurde ein Anforderungskatalog als Medium zur stetigen Orientierung über die iterativen Redesignphasen erstellt.

Die vorgesehenen Erhebungsphasen beliefen sich auf drei Erprobungen mit vorangestellten Lernlaboren, um dem hohen Komplexitätsgrad bei der Entwicklung eines digitalen Weiterbildungsangebotes gerecht zu werden (Hense 2010) und adäquate Zeiträume für die Datenerhebung und -auswertung sowie die daran anschließenden erneuten iterativen Entwicklungszyklen zu gewährleisten. Bei einer Anwendung des Prozesses in anderen Kontexten sollte eine entsprechende Anpassung je nach Evaluationsgegenstand erfolgen. Die sogenannten Lernlabore wurden im Sinne eines Prätests vorgeschaltet, um offensichtliche Programmierfehler oder Inkonsistenzen in den Inhalten zu identifizieren und entsprechende Anpassungen vorzunehmen, bevor der Lernplatz einem breiteren Publikum zur Evaluation zur Verfügung gestellt wird. Hierfür bearbeiteten ausgewählte Lerntester:innen die verfügbaren Inhalte und notierten in einem Template Auffälligkeiten, wie Bugs, Rechtschreibfehler und generelle Inkonsistenzen. Auf Fragebögen und Interviews wurde in dieser Phase zur schnelleren Umsetzbarkeit der Anmerkungen verzichtet. Um die Rekrutierung der für die Lernlabore und Erprobungen notwendigen Teilnehmer:innen zu gewährleisten, wurde bereits in der „ex-ante“-Phase der Austausch mit nutzer:innennahen Stakeholdern wie Fachverbänden, Handwerkskammern, handwerksnahen Bildungseinrichtungen sowie Fachmessenbesucher:innen gesucht.

Zu den Vorüberlegungen gehörte ebenfalls, dass im Anschluss an die Lernlabore die mehrwöchige Erprobungsphase zur Datensammlung mittels eines Mixed-Methods-Ansatzes begann und danach die Datenauswertung anschließt. Die aus den Daten gewonnenen Ergebnisse sollten wiederum in eine anwendungsbezogene Datenexplikation mit Einordnung und Priorisierung in thematische Schwerpunkte in das Redesign einfließen. Dieser Ablauf (Zieldimensionen bestimmen, Instrumente erstellen oder anpassen, Lernlabore durchführen, Anpassungen vornehmen) sollte über drei Erprobungen bzw. vier Prototypendesigns hinweg in der „on-going“-Phase je nach Ist-Stand auf notwendige Änderungen geprüft werden, wobei nach dem vierten Design die summative Evaluation („ex-post“-Phase) anschließen sollte.

Die „on-going“-Phase legte den Schwerpunkt auf die konkrete Umsetzung der Maßnahmen zur formativen Evaluation gemäß der „ex-ante“-Konzeption. Für jede Designschleife wurden die Zieldimensionen in Abhängigkeit vom Ist-Stand des Lernplatzes reflektiert und Erhebungs- sowie Auswertungsinstrumentarien zusammengestellt. Für die formative Evaluation wurde eine Kombination aus qualitativen und quantitativen Methoden für die Erhebung der Zieldimensionen gewählt. Zum Einsatz kamen Fragebögen, Interviews, die Methode des lauten Denkens, die Hospitation der Präsenzphase gefolgt von Fokusgruppen sowie Logfileanalysen. Die komplementär eingesetzten Methoden sollten nicht nur gestalterische, akzeptanz- und lernmotivationsbezogene Ergebnisse liefern und Probleme identifizieren, sondern auch konkrete Verbesserungs- und Lösungsvorschläge generieren.

Die Zieldimension des in der ersten Erprobung noch rudimentären Prototyps lag im intuitiven Aufbau des Lernplatzes (Navigation, Platzierung der Buttons, Nutzungspfade, didaktisches Heranführen). Entsprechend wurde zur Erfassung der unmittelbaren Teilnehmer:innenreaktionen die Methode des lauten Denkens herangezogen (Konrad 2010). Die Methode des lauten Denkens während der Bearbeitung sowie teilstandardisierte (Online‑)Interviews im Anschluss der Testung des Lernplatzes dienten der Gewinnung von spezifischen Gedanken, Emotionen, Stärken, Schwächen und Verbesserungsvorschlägen bei der Bedienung. Die Interviews dienten vor allem der zeitnahen Diskussion über die während des lauten Denkens benannten Auffälligkeiten sowie der Erhebung allgemeiner Wünsche und Präferenzen der Lerner:innen. Des Weiteren wurden unmittelbar nach der Methode des lauten Denkens vier Kurzfragebögen eingesetzt, die demografische Daten erfassten und in denen die drei Inhaltsbereiche (CAD, CAM, Exkurs) bezüglich ihrer Usability und der Lernmotivation bewertet wurden. Die Kurzfragebögen wurden als Methode gewählt, um erstmalig eingesetzte Instrumentarien zur Usability und Lernmotivation zu pilotieren.

Der Fokus der zweiten Erprobung lag auf dem Design und neuen Funktionalitäten im Lernplatz, sodass die intuitive Bedienung sowie Nützlichkeit der Hilfestellungen als Zieldimensionen festgelegt wurden. Mittlerweile lag ein überarbeiteter Lernplatz vor, der durch einen erweiterten Funktionsumfang und einhergehend einer erhöhten Bearbeitungszeit gekennzeichnet war. Die Rückmeldungen der Lerner:innen aus der ersten Erprobungsphase beeinflussten maßgeblich die Auswahl der Methoden. Insbesondere die Hinweise der Lerner:innen auf limitierte zeitliche Ressourcen im Alltag, die eine Präferenz für selbstständiges Lernen nach individueller Verfügbarkeit nahelegten, führten dazu, dass ab der zweiten Erprobung auf die Methode des lauten Denkens verzichtet wurde. Zudem äußerten die Teilnehmer Kritik an der redundanten Wiederholung von Fragebogeninstrumenten zur Bewertung verschiedener Bestandteile des Lernplatzes. Folglich wurden ab der zweiten Erprobung Nutzungsdaten, sogenannte Logfiles, als objektive Datenquelle herangezogen, um die Informationsqualität zwischen den verschiedenen Methoden zu vergleichen und die Entbehrlichkeit bestimmter Fragebögen zu evaluieren (Tasliarmut et al. 2024). Logfiles erlauben das Tracking von vorab definierten Aktionen, Zugriffszeiten, URLs oder Fehlermeldungen. Im Gegensatz zu den vorgenannten retrospektiven subjektiven Methoden erfassen sie kontinuierlich und in Echtzeit Interaktionen mit dem digitalen Lernangebot und liefern Erkenntnisse über Nutzungsmuster und -präferenzen (Hadwin et al. 2007; Huber und Bannert 2023). Weiterhin wurden die demografischen Daten, die interaktionsbezogene Technikaffinität, die Usability, die Lernmotivation und der aufgabenspezifische bzw. allgemeine Eindruck mittels vier in den Lernplatz integrierten Fragebögen erfasst. Diese Fragebögen zielten darauf ab, sowohl einzelne Komponenten als auch die Gesamteinschätzung des Lernplatzes zu bewerten. Zudem enthielten sie offene (optionale) Fragen, die auf die Erfassung von positiven und negativen Aspekten sowie Idealvorstellungen abzielten. Um die Bearbeitungsdauer pro Fragebogen zu kürzen und somit Ausfälle zu vermeiden, wurden die Konstrukte in der Regel auf mehrere Kurzfragebögen aufgeteilt. Durch die zeitunabhängige Bearbeitung der Lernplatzaufgaben über die mehrwöchige Erprobungsphase hinweg bestand somit die Möglichkeit, Pausen einzulegen.

In der dritten Erprobung stand neben fünf Lernaufgaben auch eine erstmalig durchführte Präsenzphase an einer CNC-Maschine im Mittelpunkt. Die Zieldimensionen umfassten einerseits gestalterische, funktionelle und lernmotivationsbezogene Kriterien für die Lernaufgaben und andererseits die Akzeptanz sowie die Wirksamkeit der Präsenzphase als ergänzendes Angebot, um die digital erlernten Inhalte zu festigen. Aufgrund der zeitunabhängigen Bearbeitung der fünf Lernaufgaben wurden sechs Fragebögen als primäre Evaluationsmethode ausgewählt, da nicht alle Lerner:innen an der nachgelagerten Präsenzphase teilnehmen konnten. Dies ermöglichte eine unmittelbare Bewertung der Lernaufgaben im Lernplatz, um eine umfassende Einschätzung zu gewährleisten. Die Logfileanalyse, die sich in der zweiten Erprobung als effektive zusätzliche Methode erwiesen hatte, wurde erneut implementiert.

Für die Evaluierung der Präsenzphase wurden die Methoden der Hospitation, Fragebögen sowie Fokusgruppen ausgewählt, um die variierenden Arbeitsrealitäten von unterschiedlich großen Bildungseinrichtungen und Unternehmen angemessen zu berücksichtigen. Zum einen wurde die Präsenzphase vor Ort bei einer Bildungsstätte begleitet und protokolliert, zum anderen wurde der Einsatz eines Telepräsenzroboters (Modell Double 3) zur Beobachtung pilotiert. Lerner:innen und Lehrpersonen an den verschiedenen Präsenzstandorten wurden sowohl zu ihrer Wahrnehmung und möglichen Verbesserungsvorschlägen bezüglich der Wissenstests als auch zur Gestaltung und Lernwirksamkeit der Präsenzphase im Rahmen von Fokusgruppen und zwei Fragebögen befragt. Die Fokusgruppen sollten sicherstellen, dass Diskussionen zur Gestaltung und Wirksamkeit unter Berücksichtigung verschiedener fachbezogener und lernmotivatorischer Hintergründe geführt werden. Alle qualitativen Methoden wurden entweder mittels Aufnahmegerät oder innerhalb der Videokonferenz unter Beachtung der Datenschutzrichtlinien aufgezeichnet. Ein Überblick, welche Methoden und inhaltlichen Spezifika je Erprobung priorisiert wurden, ist Abb. 2 zu entnehmen.

In Tab. 1 sind für jede Erprobung spezifisch angewandten Konstrukte bzw. inhaltlichen Spezifika, die aufbauend auf den identifizierten Zieldimensionen zusammengestellt wurden, dargestellt. Darüber hinaus sind der Tabelle Beispielitems zu entnehmen, die als Impuls für zukünftige Evaluationsprojekte dienen können.

Nach Ablauf des festgelegten Erprobungszeitraums wurden die auf LimeSurvey gesammelten Fragebogendaten mittels IBM SPSS (Version 28) deskriptiv ausgewertet und interpretiert. Die Transkription der Interviews und Fokusgruppen erfolgte nach Kriterien der Standardorthografie. Im Anschluss erfolgte die Auswertung der offenen Fragen aus den Fragebögen, des lauten Denkens, der Interviews sowie Fokusgruppen gemäß den Kriterien einer qualitativen Inhaltsanalyse für die Gewinnung relevanter Informationen (Gläser und Laudel 2010). Die Erhebungsdaten dienten auch der Evaluation der eingesetzten Instrumente, um zu einem frühen Zeitpunkt gemäß „on-going“-Phase das Untersuchungsdesign gegenstandsadäquat anzupassen (Richey et al. 2004). Die aus den Erprobungsergebnissen abgeleiteten Verbesserungspotenziale wurden thematisch geclustert und in Form von Workshops gemeinsam mit den Stakeholdern analysiert, wobei Probleme und resultierende Konsequenzen u. a. zum Design und Inhalt diskutiert wurden. In diesen Workshops erfolgte ebenfalls eine gemeinsame Priorisierung und die Zuweisung von Verantwortlichkeiten für das nachfolgende Redesign. Die gewonnenen Erkenntnisse wurden über diese Workshops sowie durch die stetige Anpassung von Anforderungskatalogen verbreitet und flossen direkt in das Redesign des digitalen Weiterbildungsangebots ein.

Die Rekrutierung der Erprobungsteilnehmer:innen aus dem Tischler- und Steinmetzhandwerk für jede Erprobungsphase wurde durch beteiligte Stakeholder wie Fachverbände und Umsetzungspartner:innen durchgeführt. Dieser Prozess wurde von der Notwendigkeit geleitet, die gemäß des UCD-Prozesses identifizierte Zielgruppe adäquat zu repräsentieren. Bei den Teilnehmenden handelt es sich um Personen im Tischler- und Steinmetzhandwerk, welche keine bis fortgeschrittene Erfahrungen mit CNC-Maschinen hatten. Die Bandbreite der formalen Qualifikationen erstreckte sich von Auszubildenden bis zu Personen mit Meisterqualifikation und Lehrerfahrung. Die demnach heterogene Gruppe der Erprobungsteilnehmer:innen zeichnet die im Vorfeld gemäß dem UCD-Prozess erstellte Zielgruppe nach.

Die Anzahl der Rückläufe für die unterschiedlichen Erprobungen und Methoden finden sich in Tab. 2. Dabei handelt es sich jeweils um die bereinigte Zahl, da unvollständig oder doppelt ausgefüllte Fragebögen nicht in die Datenauswertung einflossen.

Bei der ersten Erprobung wurden die Methode des lauten Denkens zum Erfassen der ersten Eindrücke, anschließende Kurzinterviews sowie Fragebögen zu Usability und Lernmotivation genutzt. Ein nicht antizipierter Nebeneffekt der Methode des lauten Denkens war, dass einige Teilnehmer:innen, die zu Beginn der Erprobung gebeten wurden, alle ihre Gedanken zu teilen, dies auch während des Ausfüllens der Fragebögen fortsetzten. So konnte beispielsweise festgestellt werden, dass beim System Usability Scale (SUS)-Fragebogen der Begriff „Inkonsistenzen“ (Item 6) unverständlich war. Dieses Item konnte für die weiteren Erprobungen angepasst werden und verdeutlichte zusammen mit dem sichtbaren Unverständnis einiger Begriffserklärungen (z. B. „NC-Code“) die Notwendigkeit leichter Sprache in den Evaluationsmethoden und im Lernplatz. Zusätzlich wurde während der Begleitung der Nutzung beobachtet, dass einige Bedienelemente (z. B. der „Weiter“-Button) übersehen wurden. Insgesamt zeigte der Einsatz des lauten Denkens in Kombination mit den anschließenden Kurzinterviews, in denen u. a. der Schwierigkeitsgrad thematisiert wurde, bedeutende Defizite im Aufbau des Lernplatzes auf und machte deutlich, dass eine Einstiegsseite mit Vorstellungsvideos notwendig sei. Die Fragebögen zur Usability und Lernmotivation fielen tendenziell sehr positiv aus. Beispielsweise erreichte der SUS-Score (System Usability Scale) für die drei Inhaltsbereiche des Lernplatzes (CAD, CAM, Exkurs) auf einer hundertprozentigen Skala einen durchschnittlichen Wert von 88 %, wobei ein derartiger Wert ein gutes Resultat darstellt. Dieses Ergebnis ist insofern einzuordnen, als dass soziale Erwünschtheit durch die Begleitung eine Rolle gespielt haben könnte. Der Mehrwert der Fragebögen ist demnach im Vergleich zu den Kurzinterviews sowie der Methode des lauten Denkens in der ersten Erprobung als gering einzustufen.

Nachfolgend wurden größere Anpassungen am Funktionsumfang des Lernplatzes vorgenommen; zum Beispiel wurde die Darstellung und Didaktik der CAD- und CAM-Aufgaben angepasst, welche im Vergleich zum ersten Prototyp umfangreicher und nach einem geänderten didaktischen Konzept gestaltet wurden. Aufgrund der in der ersten Erprobung identifizierten Defizite im Aufbau des Lernplatzes, wurden eine Startseite mit Einstiegsvideos sowie ergänzende Zusatzangebote implementiert. Teilnehmer:innen konnten die erste Lernaufgabe ohne Begleitung erproben und die in den Lernplatz integrierten vier Kurzfragebögen beantworten. Auffälligkeiten betrafen die fehlende Nützlichkeit der didaktischen Rückmeldungen in den Aufgaben und die mangelnde Intuitivität der Navigation. Aus den qualitativen Antworten wurde deutlich, dass die Platzierung der Buttons suboptimal gestaltet war. Beim Versuch vergrößerte Bilder zu schließen wurden beispielsweise bearbeitete Aufgaben geschlossen, was aufgrund der fehlenden Zwischenspeicherung zu Frustration führte. Aus diesen Gründen verschlechterte sich der SUS-Score im Vergleich zur ersten Erprobung für den gesamten Lernplatz auf 72,96 %. Insgesamt lässt sich feststellen, dass die zusammengestellten Fragebögen zu den Rückmeldungen, aufgetretenen Problemen und zum Schwierigkeitsgrad ein angemessenes Kosten-Nutzen-Verhältnis aufwiesen. Hingegen ließ sich für die Abfrage der Nutzungshäufigkeit der Zusatzangebote eine Diskrepanz zwischen den Antworten in den Fragebögen und den Logfiles feststellen (Tasliarmut et al. 2024). Demzufolge ist es für die formative Evaluation von Weiterbildungsangeboten empfehlenswert, objektive Nutzungsdaten bei der Einführung neuer Bestandteile zu analysieren, um Erinnerungsverzerrungen durch subjektive Einschätzungen von Teilnehmer:innen zu umgehen.

Im Rahmen des Redesigns nach der 2. Phase der formativen Evaluation wurden insgesamt fünf Lernaufgaben mit steigender Schwierigkeit erstellt und Bugs entfernt. Auch erfolgten designtechnische und funktionelle Anpassungen, z. B. um das versehentliche Schließen von Aufgaben über eine farbliche Umgestaltung zu verhindern. Rückmeldungen wurden z. B. als Pop-up implementiert, um die Sichtbarkeit zu erhöhen. In Vorbereitung für die Präsenzphase wurden außerdem zwei Tests zu CNC-Spezifika (Bestandteile und Produktionsprozess) hinzugefügt. Um in dieser Phase der Lernplatzentwicklung den Schwierigkeitsgrad, die neuen CNC-Tests, die Usability und die Präsenzphase bewerten zu lassen, wurden primär Kurzfragebögen eingesetzt (vgl. Tab. 2). Der Einsatz von Fragebögen zur Erfassung des Schwierigkeitsgrades und aufgetretener Probleme erwies sich als sinnvoll, da ein direkter Vergleich zwischen den fünf Aufgaben ermöglicht wurde. So konnte das didaktische Konzept, das einen Niveauanstieg anstrebte, über die Antworten validiert werden. Auch konnten Defizite in den CAM-Aufgaben, dessen Bewertungen über alle fünf Aufgaben hinweg einen negativen Versatz im Vergleich zu dem CAD-Aufgaben enthielten, aufgedeckt werden. Dies lag den qualitativen Antworten zufolge insbesondere daran, dass Bugs auftraten und die Rückmeldungen zu unspezifisch waren. Der SUS-Score verzeichnete im Vergleich zur vorherigen Erprobung einen Anstieg auf 75,93 %.

Der im Zuge der Präsenzphase für die Hospitation pilotierte Telepräsenzroboters erwies sich als geeignet, da er eine effektive Präsenz und Interaktion in Echtzeit ermöglichte, ohne die Notwendigkeit physischer Anwesenheit, was die Zugänglichkeit und Flexibilität der Beobachtungsprozesse signifikant verbesserte. Trotz der erhöhten Lautstärke in der Werkstatt wurde die Hospitation mit dem TPR durch die fahrende Person positiv gewertet. Darüber hinaus wurde durch die Beobachtung an einer Bildungsstätte sowie Fokusgruppen mit Lehrpersonen und Lerner:innen deutlich, wie divers die Rahmenbedingungen je Präsenzstandort sind. Neben variierenden zeitlichen Ressourcen für die Herstellung einer anhand einer Aufgabe aus dem Lernplatz zu erstellenden Obstkiste (zwischen 4 und 8 h) waren unterschiedliche Maschinenkonfigurationen und Wissensstände die Hauptanmerkungen. Insgesamt lässt sich ableiten, dass für die erstmalige Erschließung der Präsenzphase die Beobachtung sowie Fokusgruppen mit Lehrpersonen und Lerner:innen unabdinglich sind. Abschließend ist für die Bewertung der Lernaufgaben bzw. des Lernplatzes die Implementierung von Kurzfragebögen zur Usability und zum Schwierigkeitsgrad empfehlenswert.

Essenziell für die Durchführung der formativen Evaluation war die Einbindung nutzer:innennaher Stakeholder, welche kontinuierlichen Zugang zur Zielgruppe ermöglichten, was die fortlaufende Integration der Nutzer:innenperspektive sicherstellte und das Multiplikationspotenzial innerhalb der Betriebe durch die Fachverbände erhöhte. Diese Zusammenarbeit förderte die Sensibilisierung der Nutzer:innen und Umsetzungspartner:innen für notwendige methodisch-didaktische Anpassungen. Die effektive Einbindung von Stakeholdern bildet demnach eine solide Grundlage für die vorgestellte formative Evaluation deren angewandte Methoden nachfolgend nach Wirksamkeit und Praktikabilität eingeordnet werden.

Hinsichtlich der Darstellung gegenüber den Umsetzungspartner:innen eigneten sich insbesondere die Ergebnisse der qualitativen Methoden, da diese durch ihre Unmittelbarkeit in der Regel sofort verständlich in Bezug auf aufgetretene Probleme und Verbesserungsvorschläge waren. Der hohe Informationsgehalt rechtfertigte den nicht unerhebliche Zeitaufwand für Transkription und Auswertung der Daten. Der Mangel an Validität lässt sich durch Transparenz in Bezug auf die Dokumentation des Vorgehens ausgleichen. Darüber hinaus verlangte die gesonderte Ansprache der Teilnehmer:innen für die Teilnahme an den Interviews und Fokusgruppen einen hohen zeitlichen Aufwand, da diese zum Teil mehrfach kontaktiert werden mussten.

Die quantitativen Methoden, wie Logfiles und Fragebogendaten, erforderten dahingehend einen Mehraufwand hinsichtlich der Transformation in ein leicht verständliches und präsentierbares Format für die Umsetzungspartner:innen. Der sofortige Nutzen der Fragebogendaten war für diese nicht direkt ersichtlich, jedoch boten sie im Kontext der Vergleichbarkeit der Ergebnisse validierter Instrumente über drei Erprobungsphasen hinweg einen deutlichen Zugewinn. Dies äußert sich besonders in den Bereichen der Usability, der Akzeptanz und der Lernmotivation.

Zudem lieferte ein validiertes Instrument wie der SUS-Score widersprüchliche Ergebnisse durch den anfänglichen sehr hohen Score in der ersten Erprobung und einer deutlichen Abnahme bei den nachfolgenden Erprobungen. Der Verlauf des SUS-Scores ließ sich unter Zuhilfenahme der qualitativen Daten interpretieren. Während die Lerner:innen beim ersten Prototyp Begeisterung über die Idee eines digitalen CNC-Lernplatzes äußerten und insbesondere die Baumstruktur als intuitiv empfanden, sank die Usabilityeinschätzung für den zweiten Prototyp, der erstmalig komplexere Aufgaben implementierte. Deren Funktionen waren zwar in Zügen nutzbar, allerdings wurde insbesondere für die Gestaltung der Oberfläche und dem Fehlen von Speicherungsmöglichkeiten Unmut geäußert, was sich auch in der Usabilityeinschätzung widerspiegeln könnte. Diese Probleme wurden wiederum für den dritten Prototyp behoben, weshalb ein leichter Anstieg des Scores zu erkennen war. Gleichzeitig wurden vier weitere Lernaufgaben mit steigendem Schwierigkeitsgrad implementiert. Hinsichtlich dieser wurde betont, dass die Rückmeldungen bei auftretenden Problemen nicht hilfreich waren. So konnten zwar Verlinkungen zu unterschiedlichen Hilfestellungen genutzt werden, allerdings könnte die Unspezifität als benutzer:innenunfreundlich wahrgenommen worden sein, weshalb der eingangs erfasste SUS-Score nicht erreicht werden konnte.

Über alle drei Erprobungen hinweg kritisierten einige Teilnehmer:innen die Länge und Anzahl der Fragebögen. Die variierende Anzahl an ausgefüllten Fragebögen für die zweite und dritte Erprobung deutet darauf hin, dass möglicherweise die Platzierung der Fragebögen im Lernplatz nicht ausreichend sichtbar war oder dass die Teilnehmer:innen zum Zeitpunkt der Befragung möglicherweise nicht motiviert waren, diese auszufüllen. Dies legt nahe, dass sowohl die visuelle Integration der Fragebögen in den Evaluationsbereich als auch die situative Bereitschaft der Teilnehmer:innen zum Ausfüllen der Fragebögen zukünftig Beachtung finden sollten.

Die Logfiles bildeten eine fundierte Basis um unabhängig von intendierten Teilnehmer:innenfeedback Diskrepanzen aufzudecken. Dafür ist es essenziell im Vorfeld der Logfile-Aufzeichnung eine sorgfältige Planung der zu dokumentierenden Logs und Interaktionen durchzuführen.