Experimentelle Herangehensweisen in der Evaluation von Maßnahmen der Wissenschaftskommunikation

Lässt sich mit authentischen Ausstellungsstücken die Aufmerksamkeit von Museumsbesucher:innen besonders gut gewinnen (vgl. Schwan et al. 2016)? Führen Citizen-Science-Projekte zu einem verbesserten Wissenschaftsverständnis bei den teilnehmenden Bürger:innen (vgl. Bonney et al. 2015)? Fördert die Darstellung wissenschaftlicher Sachverhalte in Comics das Themenverständnis bei jungen Menschen (vgl. Lin et al. 2015)?

Studien, in denen Maßnahmen der Wissenschaftskommunikation evaluiert werden, rücken oft die Frage nach der Wirkung spezifischer kommunikativer Maßnahmen in den Mittelpunkt. Wünschenswerte Effekte in Bereichen wie Interessensförderung, Vertrauensbildung oder Wissenschaftsverständnis sollen in einem kausalen Sinne auf die zu evaluierende Maßnahme zurückgeführt werden. Mit diesem Erkenntnisinteresse kommen Studiendesigns, die Reaktionen von Bürger:innen, Museumbesucher:innen oder Podcasthörer:innen ausschließlich beobachten, ohne in den Rezeptionsprozess einzugreifen, an ihre Grenzen. Stattdessen sind Experimente die Methode der Wahl, die ihren Ursprung in den Naturwissenschaften haben und im Fokus dieses Beitrags stehen. Der Beitrag gibt eine praxisnahe Einführung in die Logik des Experiments, skizziert seine verschiedenen Erscheinungsformen und zeigt Potenziale und Limitationen des Experimentierens im Kontext der Wissenschaftskommunikation auf.

Stellen Sie sich vor, ein Team von Forscher:innen möchte herausfinden, ob der Besuch von Science Slams zu einer positiven Einstellung gegenüber Wissenschaft führt. Die Forschenden besuchen eine ganze Reihe solcher Veranstaltungen, erheben von den anwesenden Besucher:innen Daten zur Häufigkeit des Besuchs von Science Slams und messen ihre Einstellung zur Wissenschaft. Zur Freude des Forscher:innenteams zeigen die statistischen Analysen einen positiven Zusammenhang der Variablen: Je öfter Personen Science Slams besuchen, desto positiver ihre Einstellung gegenüber der Wissenschaft. Lässt sich hieraus ableiten, dass Unterschiede in den Einstellungen kausal auf die Häufigkeit des Besuchs von Science Slams zurückzuführen sind? Tatsächlich ist die im fiktiven Beispiel beobachtete Kontiguität zwischen Ursache und Wirkung, also ihr gemeinsames Auftreten, eines von mehreren Kriterien, die erfüllt sein müssen, um auf einen kausalen Zusammenhang zwischen zwei Variablen schließen zu können (für einen Überblick der erkenntnistheoretischen Grundlagen von Kausalschlüssen, siehe Field und Hole 2003). Allerdings ist die Kontiguität nur ein notwendiges, kein hinreichendes Kriterium. Um auf eine kausale Beziehung zwischen zwei Variablen zu schließen, muss die Ursache zudem zeitlich vor der Wirkung liegen. Dieses Kriterium zeigt ein erstes Problem der oben skizzierten querschnittlichen Studienanlage auf, denn es wäre auch denkbar, dass die positiven Wissenschaftseinstellungen der Science-Slam-Enthusiast:innen bereits vor dem Besuch der Science Slams vorlagen, mithin nicht als Wirkung infrage kommen. Schließlich könnte es auch eine dritte, von Bauer und Kolleg:innen (2014) als „vergessene Variable“ bezeichnete Größe geben, die sowohl Wissenschaftseinstellung als auch Häufigkeit der Besuche von Science Slams beeinflusst. So könnte die Nähe des von den Versuchspersonen ausgeübten Berufs zum Wissenschaftsbetrieb sowohl einen Einfluss darauf ausüben, wie häufig man Science Slams besucht, als auch darauf, wie positiv man der Wissenschaft gegenübersteht. Eine solche Konfundierung kann nur ausgeschlossen werden, wenn ein Studiendesign gewählt wird, in dem die Forschenden die mutmaßlich verursachende Variable isolieren und sie in einer Untersuchungsbedingung präsentieren, während diese in einer anderen Bedingung, die ansonsten vergleichbar ist, nicht dargeboten wird. Das Ausmaß der Differenz zwischen den Bedingungen, in denen die Ursache präsent beziehungsweise nicht präsent ist, nährt laut Field und Hole das Vertrauen darin, dass es sich um einen kausalen Zusammenhang zweier Variablen handelt.

Genau das ist die Grundidee des wissenschaftlichen Experimentierens: Veränderungen in der Ausprägung einer abhängigen Variable werden durch gezielte Manipulationen einer anderen Variable, die als unabhängige Variable bezeichnet wird, verursacht. Anders als im weiter oben dargestellten korrelativen Design, greift der:die Forscher:in aktiv in den Rezeptionsprozess ein und manipuliert eine (oder mehrere) Variable(n), während er:sie andere kontrolliert. Durch das hohe Maß an Kontrolle steigt die eindeutige Interpretierbarkeit der Ergebnisse (man spricht von einer hohen ‚internen Validität‘), weil Veränderungen der abhängigen Variable mit nur einer Ursache plausibel erklärt werden können. Das Gegenstück zur internen Validität ist die externe Validität, also die Verallgemeinerbarkeit der Ergebnisse eines Experiments über die Untersuchungssituation hinaus. Hier zeigen Experimente mitunter Defizite, weil ein hohes Maß an experimenteller Kontrolle zu artifiziellen Untersuchungssituationen führen kann, die sich von der natürlichen Auseinandersetzung der Bürger:innen mit Wissenschaftsinhalten deutlich unterscheiden. Ein konstruktiver Umgang mit diesem Problem könnte darin bestehen, zunächst sorgfältig im Labor getestete Wirkhypothesen zunehmend auch in authentischeren Settings zu überprüfen, um das Beste aus beiden Welten zu vereinen.

Wer eine Maßnahme der Wissenschaftskommunikation mithilfe eines Experiments evaluieren will, muss im Rahmen der Studienplanung Entscheidungen über das Experimentaldesign treffen. Hiermit bezeichnet man die Auswahl von abhängigen und unabhängigen Variablen sowie die Anordnung der Messzeitpunkte innerhalb einer Studie. Die Wahl eines Designs will wohlüberlegt sein, hat sie doch gewichtige Konsequenzen für die mit dem Experiment verbundenen Erkenntnismöglichkeiten, den benötigten Stichprobenumfang und – hierüber vermittelt – den mit der Studiendurchführung verbundenen Aufwand.

Kennzeichnend für sogenannte Messwiederholungsdesigns (engl.: repeated measures design) ist, dass jede:r Untersuchungsteilnehmende alle Experimentalbedingungen durchläuft. Ein solches Design wurde zum Beispiel von Scharrer und Kolleg:innen (2017) in ihrer Laborstudie zum Einfachheitseffekt der Wissenschaftspopularisierung (Scharrer et al. 2017) verwendet. In dem Experiment lasen medizinische Lai:innen authentische Wissenschaftsartikel aus dem Internet, in denen medizinische Themen erläutert wurden. Die Artikel richteten sich entweder an ein Expert:innenpublikum (z. B. auf www.​aerzteblatt.​de) und waren sprachlich komplex oder an ein Lai:innenpublikum (z. B. auf www.​manshealth.​com) und verwendeten eine stark vereinfachte Sprache. Weil die Proband:innen nacheinander Artikel (zu verschiedenen Themen) aus beiden Kategorien lasen, handelt es sich um ein Messwiederholungsdesign (hier mit dem Messwiederholungsfaktor „Sprachliche Einfachheit“). Scharrer und Kolleg:innen (2017) vermuteten unter anderem, dass die Untersuchungsteilnehmer:innen Behauptungen aus den sprachlich einfacheren Lai:innentexten mehr Glauben schenken als den Behauptungen aus den sprachlich komplexeren Artikeln, die sich an ein Expert:innenenpublikum richteten. Die Ergebnisse bestätigten die Hypothese der Studienautor:innen.

Zwischensubjektdesigns begegnen diesem Problem, indem den Stufen einer unabhängigen Variable distinkte Subgruppen der Gesamtstichprobe zugeordnet werden. So wurden zum Beispiel in einer Studie von Lin und Kolleg:innen (2015) erwachsenen Proband:innen Informationen zum Thema Nanotechnologie dargeboten. Die Hälfte der Proband:innen erhielt die Information in Form eines Sachtexts, während die andere Hälfte der Proband:innen dieselben Informationen als Comic aufbereitet rezipierten. Es zeigte sich, dass die Teilnehmer:innen der Comic-Bedingung mehr Freude beim Lernen erlebten und ein größeres Interesse an Wissenschaft bekundeten, als die Proband:innen der Sachtextbedingung, wohingegen keine Unterschiede in den Bereichen Wissenserwerb und Einstellungen zur Wissenschaft gefunden wurden.

Der Vorteil von Zwischensubjektdesigns besteht darin, dass die im Zusammenhang mit Innersubjektdesigns diskutierten Nachteile (Hypothesenraten und Kontrasteffekte) keine bzw. eine untergeordnete Rolle spielen. Sie sind durch die größeren Stichprobenumfänge allerdings aufwendiger in der Durchführung. Zudem gilt, dass selbst bei randomisierter Zuweisung der Versuchspersonen zu Experimentalbedingungen das oben bereits diskutierte Drittvariablenproblem nicht vollständig ausgeschlossen werden kann. Hier gilt es bereits im Vorfeld, potenziell konfundierende Variablen wie Wissenschaftsinteresse oder thematisches Vorwissen zu identifizieren und diese Konstrukte als Kontrollvariablen zu erfassen. Dies gibt den Forschenden zumindest die Möglichkeit, den Effekt der konfundierenden Variablen statistisch mit dem Verfahren der Kovarianzanalyse zu kontrollieren (für eine detaillierte Darstellung dieses Verfahrens, siehe Döring und Bortz 2016).

In der Evaluation von Maßnahmen der Wissenschaftskommunikation sind neben den beiden vorgestellten Grundformen vor allem gemischte Designs mit Zwischensubjekt- und Innersubjektfaktor angezeigt. Dabei werden verschiedene Varianten einer Maßnahme als Stufen eines Zwischensubjektfaktors miteinander verglichen. Die interessierenden Variablen werden zu mindestens zwei Messzeitpunkten erhoben. In der bereits vorgestellten Studie von Lin und Kolleg:innen (2015) wurde das Wissen über Nanotechnologie, die Einstellungen zur Nanotechnologie und das Interesse am Thema zum Beispiel unmittelbar vor dem Bearbeiten der Untersuchungsmaterialien (Prätest) und unmittelbar danach (Posttest) erfasst. Auf diesem Wege sind die Autor:innen in der Lage, Veränderungsmessungen vorzunehmen und auszuschließen, dass die unmittelbar nach dem Lesen erfassten Unterschiede bereits vor der Rezeptionssituation bestanden. Idealerweise würde das Design um einen Messzeitpunkt ergänzt, der zeitlich deutlich verzögert liegt und Aussagen über die zeitliche Stabilität der Befunde zulässt (Verzögerter Posttest). So zielen viele kommunikative Maßnahmen darauf ab, möglichst nachhaltige Veränderungen herbeizuführen, die sich nicht bloß auf rasch verblassende Eindrücke beschränken. Zudem kennt die Lernpsychologie auch sog. Sleeper-Effekte, bei denen die Vorteile einer Lernform erst nach einer Weile sichtbar werden (Köller 2015). Dies ist zum Beispiel der Fall, wenn nicht die Teilnahme an einer Maßnahme der Wissenschaftskommunikation selbst, sondern die in der Folge auftretende vermehrte Auseinandersetzung mit dem Thema zu einem substanziellen Lernzuwachs führt. Solche Effekte würden ohne Hinzufügen eines verzögerten Posttests übersehen und die Wirksamkeit einer Maßnahme systematisch unterschätzen.

Soll die Wirkung einer Maßnahme der Wissenschaftskommunikation evaluiert werden, geht damit in der Regel die Entscheidung über eine geeignete Kontrollgruppe einher. Eine Taxonomie der Handlungsmöglichkeiten bietet die Klassifikation von Hager (2008), die ihren Ursprung in der Evaluation pädagogisch-psychologischer Interventionen hat und zwischen isolierter, vergleichender und kombinierter Evaluation unterscheidet.

Bei der isolierten Evaluation geht es darum, einen grundsätzlichen Wirknachweis einer Maßnahme zu erbringen. Die zu testende Maßnahme wird experimentell mit einer anderen Intervention von ähnlicher Komplexität und Dauer verglichen, die jedoch andere Ziele verfolgt. Beispielsweise könnten die Effekte eines Schülerlaborworkshops zu den Ursachen des Klimawandels mit einem in Dauer, Didaktik und Zielgruppe vergleichbaren Schülerlaborworkshop zu einem anderen Thema verglichen werden. Es würde erwartet, dass bei den Proband:innen der Interventionsgruppe, nicht jedoch bei denen der Kontrollgruppe, Veränderungen in der abhängigen Variable (z. B. Wissen über Ursachen des Klimawandels) auftreten. Hager (2008) spricht nur dann von einer „echten“ Kontrollgruppe, wenn diese ebenfalls eine Maßnahme durchläuft. Ist dies nicht der Fall, kann nicht ausgeschlossen werden, dass Veränderungen in der abhängigen Variable ein methodisches Artefakt sind, das auf der erfahrenen pädagogischen Zuwendung und nicht auf den spezifischen Lernhandlungen beruht.

Eine qualitativ hochwertige Evaluation von Maßnahmen der Wissenschaftskommunikation geht mit einer Vielzahl methodischer Herausforderungen einher, die eine sorgfältige Studienplanung unausweichlich machen. Hierzu gehört neben der Wahl eines geeigneten Studiendesigns auch der Umgang mit fehlenden Daten, die aufgrund des Drop-Outs von Versuchspersonen in Designs mit mehreren Messzeitpunkten ein besonderes Augenmerk verlangen (Köller 2015). Eine weitere Herausforderung ist die geschachtelte Datenstruktur in Studien, an denen Versuchspersonen in intakten Gruppen (z. B. Schulklassen in Schülerlaborworkshops) teilnehmen. Die Datenstruktur gilt es bei der Auswahl geeigneter statistischer Verfahren wie der Berechnung von Intraklassenkoeffizienten oder Mehrebenenanalysen zu berücksichtigen (Lüdtke und Köller 2010). Weil in diesem Beitrag die experimentellen Methoden der Evaluation im Vordergrund stehen, liegt der Fokus der methodischen Überlegungen im Folgenden auf der Unterscheidung von experimentellen und quasiexperimentellen Ansätzen und dem mit quasiexperimentellen Ansätzen verbundenen Problem der Sicherung der internen Validität.

Die Evaluation von Maßnahmen der Wissenschaftskommunikation ist ein wichtiges Instrument zur Qualitätssicherung solcher Initiativen und zugleich Ausdruck der zunehmenden Professionalisierung eines ‚boomenden‘ Tätigkeitsfeldes. Sie liefert wichtige Erkenntnisse über die Randbedingungen gelingender Wissenschaftskommunikation und erfüllt damit nicht nur eine innerwissenschaftlich relevante, sondern auch eine gesellschaftlich bedeutsame Funktion.

Im vorliegenden Beitrag lag der Fokus auf experimentellen Herangehensweisen in der Evaluation von Maßnahmen der Wissenschaftskommunikation. Diese stellen einerseits hohe methodische Anforderungen an die Studienplanung und -durchführung, bieten andererseits aber das Potenzial, belastbare Aussagen über Kausalzusammenhänge zu liefern. Dies mag überall dort erstrebenswert sein, wo Forschende vom Konkreten abstrahieren und Aussagen mit einem weiteren Geltungsbereich treffen wollen. Es geht dann nicht mehr primär um die Rekonstruktion der subjektiven Eindrücke von zufällig zu einem bestimmten Zeitpunkt an einem Ort befindlichen Personen. Diese sind in der hier vorgestellten Forschungstradition vielmehr Stellvertreter:innen einer größeren Grundgesamtheit, fachsprachlich eine Stichprobe aus einer Population, aus der man beliebig viele weitere Stichproben ziehen könnte. Das Ziel ist, Gesetzmäßigkeiten zu erforschen, die in einem genauer zu explizierenden Anwendungsbereich Gültigkeit besitzen und im Idealfall zu replizierbaren Effekten führen, was wiederum einen großen praktischen Nutzen hat.

Beim Design experimenteller Studien, die einen solchen Erkenntnisgewinn versprechen, können Evaluator:innen mittlerweile auf einen großen Fundus an Erkenntnissen und Best-Practice-Beispielen zurückgreifen, die in den letzten Jahrzehnten in benachbarten Disziplinen wie der empirischen Bildungsforschung gewonnen wurden. Hieraus sind verschiedene Lehrbücher und zahlreiche Fachartikel hervorgegangen, in denen das hier vorgestellte Kernproblem in der Regel deutlich ausführlicher behandelt wird, als es im Kontext dieses Herausgeber:innenbands möglich und sinnvoll ist. Einige dieser Werke sind im vorliegenden Beitrag referenziert und bieten der interessierten Leser:innenschaft damit Anknüpfungspunkte, um tiefer in das Thema der Evaluation mit experimentellen Ansätzen einzusteigen.