Methoden in der naturwissenschaftsdidaktischen Forschung

Besonders aus dem Mund von Studierenden hört man oft den Ruf nach mehr „Praxis“-Bezug der Fachdidaktik. Es ist tatsächlich eine Herausforderung für die Fachdidaktik, die schulpraktische Relevanz ihrer Grundlagenforschung herauszuarbeiten. Andererseits wird sehr praxisnaher fachdidaktischer Forschung und Entwicklung entgegengehalten, ihren Ergebnissen fehle eine systematische empirische Absicherung. Design-Forschung versucht, beiden Forderungen gerecht zu werden: Bearbeitung praxisrelevanter Fragestellungen unter Einhaltung forschungsmethodischer Standards. Nach einer Einführung in den theoretischen Hintergrund der Design-Forschung wird dies an einem Forschungs- und Entwicklungsprojekt veranschaulicht, in dem es gelang, das Lernen der newtonschen Mechanik deutlich zu verbessern.

Die Aktionsforschung ist ein auf den Amerikaner Lewin (1948) zurückgehender Ansatz der Erforschung von Effekten und Veränderungen in einem realen sozialen Umfeld. Darin spielen Zyklen von Zustandsdiagnose, Analyse und aktiver Entwicklung eine zentrale Rolle. Für einige Jahrzehnte trat diese Forschungsrichtung sowohl in der Pädagogik als auch in den Sozialwissenschaften gegenüber empirisch kontrollierten Studien in den Hintergrund. Seit den 1970er-Jahren hat sich die Aktionsforschung wieder neu als eine Forschungsmethode etabliert, die sowohl in den Fachdidaktiken als auch in vielfältigen Formen der Organisationsentwicklung eine bedeutsame Rolle spielt.

Ob bei einer gegebenen fachdidaktischen Fragestellung eine aktionsforscherische Vorgehensweise angebracht und möglich ist, hängt von einigen Prämissen und Aspekten ab, die in diesem Beitrag beleuchtet und an einem Beispiel konkretisiert werden sollen.

Die schulexperimentell-konzeptionelle Entwicklungsarbeit ist angewandte Forschung, greift konkrete Probleme des Fachunterrichts auf und entwickelt dafür Lösungsvorschläge. Sie beginnt z. B. bei der Entwicklung eines einzelnen, neuen Experiments und reicht über die Konzeption experimentell orientierter Unterrichtseinheiten bis hin zur Ausarbeitung und Umsetzung von grundlegenden fachdidaktischen Konzeptionen (z. B. „Chemie fürs Leben“). Letztere können wiederum die Rahmenbedingungen für die weitere Entwicklung von Experimenten und Unterrichtseinheiten zur inhaltlichen Ausgestaltung dieser Konzeptionen liefern. Grundsätzlich sind schon bei der Entwicklung einzelner Experimente neben den technischen eine Reihe weiterer Parameter zu berücksichtigen, da die Versuche kaum zur Gewinnung neuer fachwissenschaftlicher Erkenntnisse, sondern vor allem zur Förderung von Lernprozessen dienen sollen. Insofern sind sie adressatenbezogen und spezifisch sowie am jeweiligen Lernkontext auszurichten. Hinsichtlich ihrer Auswirkungen auf den Fortgang der Lernprozesse dienen sie als Basis für weitere Untersuchungen.

Die Entwicklung von Unterrichtsmedien, -inhalten oder -methoden gehört zu den Aufgaben und Arbeitsgebieten der Fachdidaktik. Ob Neuentwicklungen wirklich „besser“, d. h. lernwirksamer oder motivationsfördernder sind, kann jedoch nur empirisch und nur im Vergleich mit anderen (in der Regel bereits vorhandenen) Medien oder Methoden entschieden werden. Dieser Beitrag behandelt Fragen von Medienvergleichsstudien anhand einer Studie, in der die Lernwirksamkeit verschiedener Medienkombinationen (digitale und klassische Medien) verglichen wurde. Die grundlegenden Überlegungen sind auf andere fachdidaktische Vergleichsstudien übertragbar.

Möchte man das Lernen von Schülern untersuchen, liegt es zunächst nahe, dorthin zu gehen, wo Lernen vermutlich stattfindet: in den Unterricht. Leistungsmessungen und auch Videoaufzeichnungen im Klassenzimmer sollen dann Auskunft darüber geben, wie die Lernenden neue Kompetenzen aufbauen oder auch vorhandene Kompetenzen erweitern. Entsprechende Lehr- und Lernsituationen haben aber einen deutlichen Nachteil: Sie lassen sich nur schwer zu Forschungszwecken in ihrer Gestaltung kontrollieren. Lehrkräfte implementieren z. B. in verschiedenen Klassen das gleiche Lernmaterial unterschiedlich oder geben einzelnen Schülern in unsystematischer Weise Hinweise und Rückmeldungen. Als eine Alternative zur Aufzeichnung von Lernaktivitäten im Feld haben sich Laborstudien etabliert. Sie erlauben eine systematische Kontrolle der für das Lehren und Lernen relevanten Parameter. In Laborstudien werden in der Regel einzelne Lernende oder kleine Schülergruppen nach vorher festgelegten Regeln unterrichtet und dabei deren Verhalten – Aussagen und Handlungen – zu Untersuchungszwecken mit Audio oder Video aufgezeichnet. In diesem Kapitel werden die theoretischen und methodischen Überlegungen zu Laborstudien erläutert und Hinweise für das Design entsprechender Studien gegeben.

Individuelle Entwicklungen des Verständnisses von naturwissenschaftlichen Begriffen oder Zusammenhängen lassen sich in Fallstudien systematisch rekonstruieren. Diese Fallstudien an einzelnen Lernenden basieren auf den Erkenntnissen der Schülervorstellungs- und der Konzeptwechselforschung.

Der Beitrag diskutiert methodische Grundfragen von Fallstudien und veranschaulicht die Methodik an einer Studie zu der Frage, in wieweit es im Unterricht gelingt, Schüler in der gymnasialen Oberstufe davon zu überzeugen, sich Atome nicht nur wie ein winziges Planetensystem vorzustellen.

Die Entwicklung und Anwendung wissenschaftlicher Tests und Fragebögen gehören zum grundlegenden Handwerkszeug in der naturwissenschaftsdidaktischen Forschung. Hier sind verschiedene Gütekriterien zu beachten. Dabei nimmt die Validität unter den drei Hauptgütekriterien eine prominente Stellung ein. Am Beispiel eines Leistungstests zum biologischen Fachwissen wird aufgezeigt, welche Maßnahmen ergriffen werden können, um die Validität zu prüfen und zu belegen.

Ein Interview ist eine Befragung, bei der ein Interviewer durch Gesprächsimpulse einen Interviewten zum Sprechen anregt. Dies geschieht mit dem Ziel, persönliche Informationen, Einstellungen, Haltungen, Wissen oder Vorstellungen zu ermitteln. Vorstellungen lassen sich besonders gut in Situationen erheben, in denen Befragte viele Möglichkeiten besitzen, ihre Ideen und Einstellungen zu einem Thema ausführlich zu präsentieren. Die Vermittlung von fachlich angemessenen Vorstellungen und Kompetenzen steht im Kern naturwissenschaftlichen Unterrichts. Nicht erst seit der Einbindung des Konstruktivismus als Erkenntnistheorie in die fachdidaktische Forschung hat sich dabei die Überzeugung durchgesetzt, dass bei der Vermittlung die Vorstellungen und Interessen der Lernenden berücksichtigt werden müssen. Im Vergleich mit den angezielten fachlichen Vorstellungen – den naturwissenschaftlichen Theorien und Konzepten – zeigen sich dann die Lernbedarfe. Zum Erfassen prä- und post-instruktionaler Vorstellungen, Interessen und mit Einschränkungen auch Emotionen sind Interviews eine probate Methode.

Das leitfadengestützte Interview ist eine Möglichkeit, komplexe Denkstrukturen und damit Vorstellungen von Personen zu erheben. Die Aufbereitung und Auswertung von sprachlichem Datenmaterial, das in Gesprächssituationen gewonnen wurde, wird im Folgenden beschrieben. Mit dem Verfahren der qualitativen Inhaltsanalyse wird ein systematisches, regel- und theoriegeleitetes Vorgehen vorgestellt, das Gütekriterien wie Objektivität, Reliabilität und Validität sichern soll. Zur Veranschaulichung wird eine Untersuchung herangezogen, die sich mit Schülervorstellungen zur Klonierung als biotechnischem Verfahren befasst.

In diesem Beitrag geht es um eine qualitative Methode zur Erfassung von Schülerperspektiven. Hier werden die Methode der Gruppendiskussion mit ihren Verfahrensschritten an zwei Anwendungsbeispielen verdeutlicht, die exemplarisch Bezug auf ethische Fragestellungen einerseits und intuitive Vorstellungen zu naturwissenschaftlichen Themen andererseits nehmen. Nach einer kurzen Skizzierung des Konzepts der Alltagsphantasien, das für ein inhaltliches Verständnis der gewählten Beispiele erforderlich ist, wird das Verfahren zunächst auf allgemeiner Ebene und im Anschluss daran anhand von zwei empirischen Beispielen aus der Grundschule und aus der gymnasialen Oberstufe vorgestellt. Damit soll gezeigt werden, wie und inwiefern die Methode geeignet ist, Schülerperspektiven zu diesen oder ähnlichen Bereichen zu rekonstruieren.

Die Erfahrungen, die Experten im Laufe ihrer Arbeiten in einem bestimmten Gebiet gesammelt haben, bilden einen Wissensschatz, aus dem wichtige Informationen für neue Fragestellungen extrahiert werden können. Ein Ansatz diese Wissensbasis zu erschließen, ist die Delphi-Technik. Die Methode wurde 1960 von der Rand Corporation für Voraussagen zum Auftreten technischer Neuerungen entwickelt, was der Methode auch den Namen gab: Der griechischen Mythologie zufolge wurde das Orakel von Delphi befragt, um etwas über die Zukunft zu erfahren. Heute werden unter dem Begriff Delphi-Technik Vorgehensweisen zusammengefasst, bei denen durch eine systematische mehrstufige Befragung von Experten Informationen oder Einschätzungen zu einem bestimmten Thema gewonnen werden. Curriculare Delphi-Studien, um die es in diesem Kapitel im Besonderen geht, dienen dazu, Informationen im Kontext der Festlegung von Bildungszielen, Lehrplaninhalten oder auch Kompetenzstandards zu gewinnen.

Offene Aufgaben werden häufig in Tests eingesetzt, um Wissen und Verständnis zu messen. Lösungswege sind bei offenen Aufgaben nicht vorgegeben. Dies ermöglicht einerseits differenzierte Einblicke in das der Aufgabenlösung zugrundeliegende Verständnis, erschwert allerdings aufgrund der Individualität der Aufgabenbearbeitung die Codierung. Für die Auswertung offener Aufgaben benötigt man Kategorien, die entweder deduktiv gewonnen werden oder aus den Antworten induktiv abgeleitet werden. Die Entwicklung eines Codierleitfadens ist wesentlich für die Umwandlung von offenen Antworten in Daten, die statistisch analysiert werden können. Der Codierleitfaden ermöglicht die Zuordnung vielgestaltiger Antworten zu einer begrenzten Anzahl von Antwortkategorien. Er besteht aus den folgenden Elementen: Definition der Kategorien, Beschreibung von Codierregeln und Beispielen. Bei der Codierung von offenen Aufgaben sind die Gütekriterien qualitativer Forschung zu berücksichtigen. Dabei muss auch die Interrater-Reliabilität sichergestellt werden, indem ermittelt wird, wie einig sich zwei unabhängige Codierer bei der Zuordnung von Antworten zu Kategorien sind. Weitere Gütekriterien sind Reliabilität und Validität. Letztere kann durch Triangulation von unabhängigen Indikatoren für dasselbe Konstrukt untersucht werden.

Lautes Denken ist eine Forschungsmethode aus der Kognitionspsychologie, die wie kaum eine andere den Zugang zu den kognitiven Prozessen ermöglicht, die während einer Handlung ablaufen. Sie wird vornehmlich zur Analyse von Denk-, Lern- und Problemlöseprozessen angewandt, ist aber auch für die Analyse von Unterricht und für die Kompetenzmodellierung hilfreich. Beim lauten Denken verbalisiert die Versuchsperson möglichst alle Gedanken, die in der Regel zeitgleich während einer Handlung entstehen. Beim retrospektiven lauten Denken werden die Gedanken direkt nach der Handlung beschrieben, z. T. mit Hilfe von Film- oder Tonaufnahmen als Stimulated Recall. Bei der Datenerhebung entstehen Video- bzw. Audiodateien, die transkribiert werden. Die Protokolle des lauten Denkens (so genannte verbale Daten) werden im Hinblick auf theoretische Konstrukte kategoriengeleitet analysiert und können mit statistischen Verfahren evidenzbasiert und unter Berücksichtigung weiterer Datenquellen ausgewertet werden.

Videostudien haben sich als fruchtbare Forschungsmethode erwiesen, die Praxis von Unterricht zu erkunden. In diesen Studien stehen Analysen des unterrichtsmethodischen Ablaufs im Mittelpunkt. Es wird u. a. untersucht, welche Unterrichtsmethoden zum Einsatz kommen und wie Lernen unterstützt wird. Es geht darum, typische „Skripte“ des Unterrichts zu identifizieren. Wir erläutern im Folgenden zunächst, was zu beachten ist, wenn solche videobasierten Studien durchgeführt werden. Wir wenden uns dann einem Aspekt zu, dem in den bisher durchgeführten Videostudien weniger Aufmerksamkeit geschenkt worden ist, nämlich wie der fachliche Inhalt in den verschiedenen Klassen, die an der Videostudie teilnehmen, strukturiert wird. Es geht um eine Methode, die fachliche Sachstruktur aus Videoaufzeichnungen zu rekonstruieren.

Fälle innerhalb der Lehr- und Lernforschung sind problemhaltige Darstellungen der unterrichtlichen Wirklichkeit. Ursprünglich wurden Fälle bzw. cases für die Vermittlung von Rechtsgrundlagen an juristischen Fakultäten verwendet. Der Falleinsatz im Bereich der Lehreraus- und -weiterbildung ist erst seit den 1980er-Jahren zu finden. Hier wurden und werden Fälle nicht nur als Lernmethode, sondern auch als Test- und Diagnoseinstrument verwendet. Der Einsatz von unterrichtsnahen Fällen als Test- und Diagnoseinstrument in der Lehrerausbildung ist mit dem Ziel verbunden, Informationen über das unterrichtsbezogene Reflexionsvermögen angehender Lehrkräfte zu gewinnen. In diesem Zusammenhang können Fälle im Bereich des pädagogischen, fachdidaktischen oder fachlichen Wissens verwendet werden.

In jüngster Zeit werden zunehmend Fragebögen und Tests zur Erfassung von Kompetenzen bei Lehrpersonen entwickelt. Viele Studien in diesem Bereich verwenden Fragebögen, um zeitökonomisch große Stichproben zu erreichen. Quantitativ ausgerichtete Fragebögen stehen jedoch wegen ihres Mangels an ökologischer Validität (bzw. externer Validität) in der Kritik, weil sie die handlungsrelevanten Fähigkeiten angehender Lehrkräfte nicht abbilden würden. Eine validere Alternative wäre die direkte Beobachtung des Lehrerhandelns im Unterricht, gestützt durch Videografie. Dies ist jedoch aufgrund der qualitativen Ausrichtung der Methode sehr zeit- und ressourcenintensiv. Vignettentests hingegen ermöglichen die zeitökonomische Erhebung valider Daten. Im Vignettentest werden angehenden Lehrkräften kurze Unterrichtsszenen in schriftlicher oder verfilmter Form dargeboten, die sie bewerten sollen. Aus der Reaktion einer angehenden Lehrkraft versucht man dann auf ihre Kompetenzen zu schließen. Die Fähigkeiten angehender Lehrkräfte werden so möglichst nahe an authentischen Unterrichtssituationen geschätzt.

Das Wort „narrativ“ kann eine Textsorte bezeichnen oder eine Unterrichtsmethode. Aber es steht auch für einen Modus der Wirklichkeitskonstruktion und einen neuen theoretischen Blickwinkel beim Verstehen von Lernprozessen. Je nachdem, was das Erzählen jeweils leisten soll, wofür es eingesetzt wird, ergeben sich verschiedene Forschungsfragen und Methoden. Der Beitrag zeigt am Beispiel der Evolutionstheorie, wie mithilfe narrativer Texte Lernervorstellungen erhoben werden können. In einem weiteren Schritt werden aus Text- und Interviewdaten Lernprozesse rekonstruiert und die Rolle narrativer Strukturen wie Erzählschemata und Motive für das fachliche Verstehen der Lerner ermittelt. Analysekategorien aus der Erzähltheorie und Linguistik werden dazu mit etablierten Methoden der Lehr-Lernforschung verbunden, quantitative und qualitative Methoden miteinander verknüpft. Dadurch können der Lernstand und der Lernfortschritt großer Gruppen auf der Ebene von Vorstellungen erhoben, aber auch Verstehensprozesse bei einer kleinen Stichprobe in hoher Genauigkeit nachgezeichnet werden.

Texte spielen in der naturwissenschaftsdidaktischen Forschung, z. B. bei Testaufgaben, und bei der Entwicklung von Lehrmaterialien, z. B. von Schulbüchern, eine wichtige Rolle. Dieser Beitrag erläutert, welche Kriterien herangezogen werden können, um die Verständlichkeit solcher Texte zu analysieren. „Einfach verständlich“ zu sein ist als Eigenschaft eines Textes nicht direkt beobachtbar, sondern erfordert – ohne textstrukturelle Hilfsmaße – ein hohes Maß an Interpretation. Man spricht dann von einer „hoch inferenten“ Charakterisierung des Textes. Wünschenswert ist es, eine solche Charakterisierung auf direkt beobachtbare Eigenschaften zurückzuführen. Dieser Beitrag erläutert an Beispielen, welche Textoberflächenmerkmale zur Analyse von Textverständlichkeit herangezogen werden können und welche numerischen Maße verständliche Texte charakterisieren. Hier liegen Erfahrungswerte vor, die zum Teil empirisch untersucht sind und sich als „brauchbar“ erwiesen haben.

Die Entwicklung von Tests zur Überprüfung der Leistung von Schülern gehört im Zusammenhang mit der Benotung zum Alltag von Lehrkräften und wird dementsprechend in der Lehramtsausbildung thematisiert. Sollen jedoch objektive und valide Tests zur Erfassung der Kompetenz von Lehrenden entwickelt werden – etwa zur Evaluation bestimmter Phasen der Lehramtsausbildung – benötigt man komplexere Erhebungsinstrumente. Dieses Kapitel zeigt ein mögliches Vorgehen bei der Entwicklung solcher Tests am Beispiel der Entwicklung eines fachdidaktischen Wissenstests. Das grundsätzliche methodische Vorgehen ist auf andere Leistungstests übertragbar.

Lernen wird von verschiedenen Faktoren beeinflusst, von kognitiven Faktoren wie dem Vorwissen der Lernenden ebenso wie von affektiven Faktoren. Das Interesse oder auch das Selbstkonzept der Lernenden sind zwei Beispiele dafür. Die empirische Untersuchung des Interesses hat für den schulischen Bereich in den naturwissenschaftlichen Fächern bereits eine längere Tradition. Das Interesse gehört auch in Leistungsstudien zu den häufig miterhobenen Kovariaten.

Mit Beginn des so genannten Bologna-Prozesses geriet auch die Qualität der Lehre an deutschen Hochschulen (erneut) in den Fokus. Für Untersuchungen kann auf Erfahrungen, Erkenntnisse und Methoden aus dem Bereich des schulischen Lernens zurückgegriffen werden; diese sind jedoch zu adaptieren. In diesem Kapitel wird dieser Prozess der Adaption eines Messinstrumentes am Beispiel der Untersuchung des Interesses von Studienanfängern im Fach Chemie näher dargestellt.

Die Entwicklung von Fragebögen zur Erhebung von Persönlichkeitsmerkmalen, wie Überzeugungen oder Interessen, stellt einen wichtigen Bestandteil der empirischen didaktischen Forschung dar. Sollen objektive, reliable und valide Fragebögen entwickelt werden, sind Kenntnisse über adäquate Vorgehensweisen der Fragebogenkonstruktion und geeignete statistische Auswertungsmethoden unabdingbar. Dieser Beitrag beschreibt ein mögliches Vorgehen bei der Entwicklung und Auswertung von Fragebögen am Beispiel eines in der Fachdidaktik erprobten Instruments zum Thema „Standards im Chemieunterricht“. Das grundsätzliche methodische Vorgehen ist auf andere Fragebogenkonstruktionen übertragbar.

Lernen in der Schule erfolgt im sozialen Austausch in ganz unterschiedlichen Beziehungsgruppen und auf unterschiedlichen Ebenen. Jede Lehrkraft macht die Erfahrung, dass Unterricht zu ein und demselben Thema in verschiedenen Klassen völlig verschieden ablaufen kann – und das obwohl doch die Klassen organisatorisch gleich sind (gleiche Altersgruppe, gleiches Vorwissen usw.). Dies hängt u. a. damit zusammen, dass Lernende innerhalb ein- und derselben Schulklasse oder Lerngruppe in Bezug auf bestimmte Merkmale (z. B. Schulleistung) oftmals einander ähnlicher sind als solche, die zu einer anderen Klasse gehören. Konventionelle statistische Verfahren (z. B. Varianz- oder Regressionsanalyse) vernachlässigen diese Zusammenhänge und bilden die vorliegende hierarchische Organisationsstruktur von Schulen (Lernende in Klassen, Klassen in Schulen usw.) gar nicht oder nur fehlerhaft ab. Fachdidaktische Forschung findet aber häufig im Feld statt, also im alltäglichen Unterricht, in verschiedenen Klassen mit unterschiedlichen Lehrkräften und Schulen. Dieser Beitrag stellt mit der Mehrebenenanalyse eine Methode am Beispiel der Lernwirkung von Aufgaben im Physikunterricht vor, die Analyseprobleme konventioneller statistischer Verfahren vermeidet und die hierarchische Mehrebenenstruktur in Schulen adäquat berücksichtigt.

Unter dem Terminus Concept Mapping werden verschiedene Forschungsinstrumente zusammengefasst, mit deren Hilfe u. a. die subjektiven Vorstellungen von Lernenden differenziert erfasst werden können. Dies geschieht, indem die persönliche Wissensstruktur eines Inhaltsbereiches netzwerkartig visualisiert wird. In Abhängigkeit von der wissenschaftlichen Fragestellung eignen sich unterschiedliche Concept-Mapping-Verfahren. Im Beitrag werden vier verschiedene Varianten vergleichend vorgestellt und es wird eine Entscheidungshilfe für die Auswahl gegeben.

Ein Test kann je nach Einsatzkontext unterschiedliche Funktionen und Bedeutungen haben. Lehrkräfte nutzen Tests, um zu überprüfen, ob die Lernenden Inhalte der letzten Unterrichtseinheit wiedergeben oder anwenden können. Auf dieser Grundlage geben sie Noten und planen weitere Lernunterstützung. Psychologen nutzen Tests, um Persönlichkeitsmerkmale zu erfassen und so z. B. grundlegende kognitive Verarbeitungsweisen zu beschreiben. Die Fachdidaktiken entwickeln fachbezogene Tests, um z. B. die Wirkungen bestimmter Merkmale der Gestaltung von Lernumgebungen auf fachliches Lernen zu untersuchen oder die Vorstellungen der Lernenden zu erfassen.

Der Beitrag zeigt, wie – ausgehend von der Überlegung, was genau gemessen werden soll – Testaufgaben entwickelt und hinsichtlich ihrer Güte überprüft werden. Dabei geht es speziell um Tests mit dem besonderen Merkmal der Rasch-Skalierbarkeit. Das Beispiel einer Studie zum physikalischen Fachwissen von Schülern veranschaulicht die zentralen Zusammenhänge zwischen Konstrukt, Aufgabenmerkmalen, Aufgabenschwierigkeit und Interpretation des Testergebnisses.

Empirische naturwissenschaftsdidaktische Forschung beruht wie die Forschung in den Naturwissenschaften zu einem beträchtlichen Teil auf der Auswertung von Messdaten. Typische Messgrößen sind kognitive Merkmale, wie z. B. das Wissen über die Natur der Naturwissenschaften, aber auch affektive Merkmale, wie das Interesse an den Naturwissenschaften. Im Gegensatz zu vielen Messgrößen bei naturwissenschaftlichen Untersuchungen entzieht sich die überwiegende Zahl der Messgrößen in der naturwissenschaftsdidaktischen Forschung einer direkten Messung. So lässt sich das Wissen über Mechanik als solches nicht messen, sondern nur anhand der Bearbeitung entsprechender Aufgaben abschätzen. Daher spricht man in Anlehnung an die Sozialwissenschaften statt von Messgrößen auch von latenten Konstrukten. Als Instrumente zur Messung kognitiver Konstrukte (z. B. Fachwissen) werden üblicherweise Tests verwendet und zur Erfassung affektiver Konstrukte (z. B. Interesse) Fragebögen. Bei der inhaltlichen Entwicklung von Tests und Fragebögen geht die naturwissenschaftsdidaktische Forschung mit äußerster Sorgfalt vor. Die Prüfung der psychometrischen Qualität der Instrumente findet allerdings erst in jüngerer Zeit mehr Beachtung. Dieser Beitrag beschreibt, wie sich die Rasch-Analyse nutzen lässt, um einen vorliegenden Leistungstest zu analysieren, Verbesserungsmöglichkeiten zu identifizieren und zu einem standardisierten Instrument weiterzuentwickeln.

Wie gelange ich von der Idee, einen Kompetenztest zu entwickeln, zu einem reliablen und validen Messinstrument? Welche fachdidaktischen bzw. pädagogisch-psychologischen Theorien lege ich zugrunde? Wie sollte die Entwicklung von Testaufgaben für ein Instrument zur Kompetenzmessung erfolgen? Wodurch sind eine gelungene Kompetenzmodellierung und Messinstrumententwicklung gekennzeichnet? Zu diesen Fragen gibt der folgende Beitrag – illustriert am Beispiel der Messung von Bewertungskompetenz beim Bearbeiten komplexer Umweltproblemsituationen – Antworten.

Die Messung von Kompetenzen gehört seit Verabschiedung der Bildungsstandards und dem Beschluss über deren Evaluation zu den aktuellen Forschungsschwerpunkten bildungswissenschaftlicher und fachdidaktischer Forschung. Naturwissenschaftsdidaktische Forschung konzentriert sich zudem auf die Einbindung des Kompetenzerwerbs in relevante Kontexte. Auch bei der Messung von Kompetenzen spielen spätestens seit PISA Kontexte mit Bezug zur Lebenswelt der Heranwachsenden – wie Umwelt und Gesundheit – international eine zentrale Rolle. Die geforderten Bewertungskompetenzen sollen es den (künftigen) Bürgern ermöglichen, zu gesellschaftlichen Fragen an der Schnittstelle zwischen Biologie bzw. Naturwissenschaften und Gesellschaft begründet Stellung nehmen zu können. Entsprechend dem gesellschaftlichen Handlungsbedarf, wie er beispielsweise durch den Verlust der Biodiversität gegeben ist, greifen wir in unserem Beispiel bei der Messinstrumententwicklung für Bewertungskompetenz auf realweltliche Umweltproblemsituationen zurück.

Für fachdidaktische Forschungsprojekte werden häufig Kompetenztests benötigt, die im Hinblick auf das Forschungsziel und die Aussagekraft der Forschungsergebnisse verschiedene Anforderungen erfüllen müssen. Einige dieser Anforderungen sind allgemeine Gütekriterien. Andere Anforderungen sind abhängig vom Forschungsziel und damit beispielsweise fachspezifisch.

Im Mittelpunkt der Kompetenztestentwicklung und -auswertung stehen stets die Schwierigkeit der Testaufgaben und mögliche Einflussfaktoren. Doch was beeinflusst die Schwierigkeit einer Testaufgabe und wie lässt sich dieser Einfluss statistisch messen? Zur methodischen Betrachtung der beiden Fragen werden zunächst Aufgabenmerkmale sowie Merkmalsarten vorgestellt, die in empirischen Studien bei der Aufgabenanalyse bzw. Aufgabenkonstruktion berücksichtigt wurden. Teilweise konnte ihr Einfluss auf die Aufgabenschwierigkeit empirisch belegt werden. Anschließend wird am Beispiel eines Kompetenztests erläutert, wie der Einfluss von Aufgabenmerkmalen auf die Aufgabenschwierigkeit untersucht bzw. wie der Einfluss von Aufgabenmerkmalen auf die Aufgabenschwierigkeit möglichst gering gehalten werden kann.