Skip to main content
Erschienen in:
Buchtitelbild

Open Access 2023 | OriginalPaper | Buchkapitel

Praxisbeitrag: Quantitative Befragungen

verfasst von : Valerie Knapp, Vanessa van den Bogaert

Erschienen in: Evaluationsmethoden der Wissenschaftskommunikation

Verlag: Springer Fachmedien Wiesbaden

Aktivieren Sie unsere intelligente Suche um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Zusammenfassung

Für die Untersuchung partizipativer Formen der Wissenschaftskommunikation bzw. zur Erfassung von Eigenschaften der Teilnehmende dieser Maßnahmen können quantitative Befragungen einen wertvollen methodischen Zugang darstellen. Der Praxisbeitrag beleuchtet die praktische Umsetzung derartiger Befragungen am Beispiel mehrwelliger, onlinegestützter Panelstudien, die begleitend zu einer internationalen Citizen-Science-Aktion durchgeführt wurden. Die vorgestellten Befragungen zielten u. a. darauf ab, nähere Erkenntnisse darüber zu gewinnen, wer an der Aktion teilnahm und welche Erwartungen an eine Teilnahme geknüpft wurden. Zuletzt werden im Beitrag Vorteile und Limitationen des Ansatzes diskutiert, die Praktiker:innen in der Entscheidung zum Einsatz solcher Befragungen bzw. bei deren Planung und Umsetzung bedenken sollten.

1 Einleitung: Quantitative Befragungen

Das Ziel der Wissenschaftskommunikation, einen reziproken Austausch zwischen Wissenschaft und Gesellschaft – jenseits der bloßen Vermittlung wissenschaftlicher Erkenntnisse – zu befördern, wird stetig wichtiger. Damit gewinnen auch partizipative Formen der Wissenschaft und der Wissenschaftskommunikation an Bedeutung. Diese Formate ermöglichen eine enge Kooperation von wissenschaftlichen und gesellschaftlichen Akteur:innen (Einsiedel 2008). Noch gibt es nur wenige generalisierbare Erkenntnisse beispielsweise darüber, wie eine erfolgreiche Zielgruppenansprache in und durch diese neuen Formate gelingen kann, was die Teilnahme an Selbigen motiviert, oder welche Erwartungen Personen mit einer Teilnahme verbinden. Dabei bieten sich verschiedene methodische Zugänge an, um mehr Erkenntnisse über die Teilnehmenden partizipativer Wissenschaftskommunikation zu gewinnen. Dieser Beitrag schärft aufbauend auf den Grundlagenbeitrag den Blick auf Methoden quantitativer Befragungen. Mit dem Ziel, Vor- und Nachteile dieser Form der Befragungen herauszuarbeiten, wird am Beispiel der Begleitforschung der europäischen Citizen-Science-Aktion Plastic Pirates – Go Europe! das Instrument mehrwelliger, onlinegestützter Panelstudien für die Evaluation von Maßnahmen der Wissenschaftskommunikation vorgestellt.
Der Beitrag bietet zunächst eine kurze Skizzierung des Konzepts von Citizen Science als Methode der Wissenschaftskommunikation. Daran anknüpfend liefert der Beitrag einen näheren Einblick in die Begleitforschung zu Plastic Pirates – Go Europe! sowie in die praktische Umsetzung einer Lehrer:innen-Befragung, die im Rahmen des Vorhabens umgesetzt wurden. Anhand dieses Beispiels werden abschließend die Vor- und Nachteile von Online-Befragungen zu zwei Messzeitpunkten für die Evaluation einer Maßnahme der Wissenschaftskommunikation reflektiert.

2 Citizen Science als Methode der Wissenschaftskommunikation

Externe Wissenschaftskommunikation – also die Kommunikation mit Adressat:innen, die außerhalb der Wissenschaft stehen wie z. B. Personen der breiteren Öffentlichkeit oder der Politik – hat in den vergangenen Jahrzehnten einen Wandel erlebt: Wissenschaftskommunikation beschreibt nicht länger die bloße Vermittlung wissenschaftlicher Erkenntnisse an die Öffentlichkeit, sondern zielt vielmehr auf den wechselseitigen Austausch zwischen wissenschaftlichen und gesellschaftlichen Akteur:innen ab. Im Kontext dieses Wandels von einem unidirektionalen Wissenstransfer – welcher immer auch ein Informationsdefizit aufseiten der Öffentlichkeit unterstellt – hin zu Austausch und Kooperation auf Augenhöhe spielen partizipative Forschungsformate eine wichtige Rolle (Ball 2020). Zu diesen Formaten zählt auch die Bürgerforschung oder Citizen Science. Unter dem Begriff Citizen Science lassen sich eine Vielzahl verschiedener Forschungsformate fassen, die eine Einbindung von Bürger:innen in die Gewinnung wissenschaftlicher Erkenntnisse vorsehen (siehe auch Bruckermann und Greving sowie Greving et al. in diesem Band). Aus der Perspektive der Wissenschaftskommunikationsforschung geht die Beteiligung von Bürger:innen immer einher mit dem Ziel, die Wissensdifferenz zwischen Wissenschaftler:innen und Bürger:innen zu verringern (Bromme 2020). Die Beteiligung von Bürger:innen in realen Forschungskontexten schafft so einerseits die Möglichkeit, wissenschaftliches Arbeiten in und an der Praxis erfahrbar zu vermitteln. Andererseits bietet die Einbeziehung unterschiedlicher Personen und Gruppen in die Generierung, Interpretation und Diskussion wissenschaftlicher Erkenntnisse eine Lerngelegenheit für alle beteiligten Seiten gleichermaßen.

3 Praxisbeispiel: Onlinegestützte Lehrer:innen-Befragung im Rahmen der Begleitforschung Plastic Pirates – Go Europe!

Das Projekt Plastikpiraten, aus dem die Citizen-Science-Aktion Plastic Pirates – Go Europe! hervorgegangen ist, gibt es bereits seit 2016. Im Rahmen dieses Projektes sind Jugendliche der Jahrgangsstufe 9 dazu aufgerufen, im Klassenverband Plastikvorkommen in und an Fließgewässern nach wissenschaftlichen Vorgaben und innerhalb festgelegter Aktionszeiträume zu untersuchen. Dazu bestimmen und kartieren die Jugendlichen das Plastikvorkommen in verschiedenen Zonen in und an einem Fließgewässer. Die Aktionszeiträume liegen jeweils im Frühjahr und im Herbst. Ziel ist es herauszufinden, wie groß der Plastikeintrag in die Meere und Ozeane durch Flüsse ist. Im Zuge der gemeinsamen Trio-Präsidentschaft von Deutschland, Slowenien und Portugal im Rat der Europäischen Union in den Jahren 2020 und 2021 wurde die Aktion – gefördert durch das deutsche Bundesministerium für Bildung und Forschung (BMBF) – unter dem Titel Plastic Pirates – Go Europe! in allen drei Ländern durch Jugendliche umgesetzt (siehe auch http://​plastic-pirates.​eu). Die Jugendlichen wurden jeweils von ihren Lehrer:innen unterstützt und begleitet. Lehrer:innen nehmen in diesem Projekt die Rolle von Vermittler:innen ein, die die standardisierte Durchführung der Aktion durch die Schüler:innen ermöglichen. Sie bereiten die Teilnahme mit den bereitgestellten Aktionsmaterialien so vor und nach, dass die Aktion in den entsprechenden Fachunterricht eingebettet werden kann. Im begleitenden Lehr- und Arbeitsmaterial finden Lehrkräfte Hintergrundinformationen zu Meeren und Ozeanen oder Kopiervorlagen für Aufgabenblätter. Zwar werden im Material bereits Hinweise zu Anknüpfungspunkten zum Kernlehrplan gegeben, die fachdidaktische Formulierung von bspw. Grob- und Feinlernzielen sowie die Anpassung an die vielfältigen Voraussetzungen der individuellen Schüler:innengruppe wird jedoch von den Lehrer:innen übernommen.
In der Literatur finden sich nur vereinzelt gesicherte Erkenntnisse über die Zielerreichung einzelner bürger:innenwissenschaftlicher Projekte im Bereich von Bildung und Vermittlung. Diese lassen darüber hinaus aufgrund methodischer Limitation derzeit kaum verallgemeinerbare Rückschlüsse zu. Für das Projekt Plastic Pirates – Go Europe! wurde daher eine Begleitforschung (ebenfalls gefördert durch das BMBF) angeregt. Neben der Untersuchung von Outcome-Variablen (Wirkungen bei den Zielgruppen) war die Begleitforschung auch darauf angelegt, nähere Erkenntnisse darüber zu gewinnen, wer an der Aktion teilnimmt und welche Erwartungen an Wissenschaft Lehrer:innen an eine Teilnahme knüpfen. Zwar sind es die Jugendlichen, die im Kontext der Aktion Plastic Pirates – Go Europe! eine konkrete Fragestellung bearbeiten und somit die zentrale Rolle bei der Datensammlung für die Citizen-Science-Aktion einnehmen, jedoch schaffen die Lehrer:innen den Rahmen, der eine Teilnahme der Jugendlichen erst ermöglicht. In der Begleitforschung wurde somit ein besonderes Augenmerk auf die Lehrer: innen in ihrer vermittelnden Rolle gelegt.
Ein erstes Ziel ist es, zu überprüfen, ob aus der Sicht der Lehrer:innen die Materialien eine authentische Vermittlung von wissenschaftlichen Arbeitsweisen ermöglichen. Die Erfassung von Authentizität in der Wissenschaftsvermittlung wird dazu auf Grundlage des theoretischen Modells zur Wahrnehmung von Authentizität in Lehr-Lernkontexten (Betz et al. 2016) mit den Authentizitätsdimensionen Vermittler:in1, Ort, Vorgehen und Innovation erfolgen. Lehrer:innen wurden gebeten, einzuschätzen, für wie authentisch sie die durch die Schüler:innen im Rahmen der Aktionsteilnahme besuchten Orte sowie das eingesetzte Material (bspw. Proben, Geräte und Instrumente) halten und als wie wissenschaftlich sie die für die Aktion konzipierten Arbeits- und Vorgehensweisen wahrnehmen.
Ein zweites Ziel ist die empirische Untersuchung von Wissenschaftsvertrauen als Voraussetzung und als Ergebnis der Beteiligung in einem solchen Citizen-Science-Projekt. Aus theoretischer Sicht ist Vertrauen immer dort notwendig, wo ein arbeitsteiliges Aufeinander-angewiesen-Sein den Lernkontext kennzeichnet – wie dies im Kontext von Citizen-Science-Projekten auch der Fall ist. Allgemein kann Vertrauen entweder identifizierbaren Personen oder Institutionen, aber auch abstrakten Institutionen sowie Gruppen bzw. deren Stellvertreter:innen entgegengebracht werden (Bromme 2020). Wissenschaftsvertrauen wird im Rahmen der Begleitforschung sowohl als Voraussetzung für eine Teilnahme sowie als Ergebnis der Beteiligung bei der Citizen-Science-Aktion aufseiten der Lehrer:innen erfasst.

3.1 Vor der Datenerhebung – Planungsphase

Befragung zu mehreren Messzeitpunkten. Die Befragung der Lehrer:innen im Rahmen der Begleitforschung erfolgte über eine mehrsprachige Online-Erhebung im Design einer Panelstudie. Eine Panelstudie umfasst grundsätzlich die Erhebung bestimmter Merkmale individueller Beobachtungsträger:innen oder Befragungsteilnehmender zu unterschiedlichen bzw. mindestens zwei Zeitpunkten mittels standardisierter Fragebögen. Somit weist ein Panel Charakteristika sowohl der Erhebung von Querschnittsdaten als – über die Zeitreihe – auch von Längsschnittsdaten auf (Schröder 2007). Im Rahmen der Begleitforschung wurde mittels der Lehrer:innen-Befragung zu zwei Messzeitpunkten überprüft, ob eine Teilnahme an der Aktion Plastic Pirates – Go Europe! das Vertrauen der Lehrkräfte in Wissenschaftler:innen verändert.
Befragung in mehreren Ländern/Sprachen. Die Lehrer:innen-Befragung im Rahmen der Begleitforschung wurden auf Deutsch, Slowenisch und Portugiesisch umgesetzt, um länderübergreifende Gemeinsamkeiten sowie nationale Unterschiede bei der Implementation der Citizen-Science-Aktion nachzeichnen zu können. Zur Überprüfung auf Richtigkeit der Übersetzungen wird häufig ein Verfahren gewählt, in dem sich der Übersetzung eine Rückübersetzung anschließt, wobei die übersetzende Person den Originaltext nicht kennt (Bernard 2000). In diesem Praxisbeispiel überprüften die Partnerorganisationen in den beiden Ländern die durch einen Dienstleistenden angefertigten Übersetzungen hinsichtlich sprachlicher Korrektheit und Zielgruppenpassung.
Befragung anhand etablierter Instrumente. In der Lehrer:innen-Befragung wurden überwiegend etablierte Skalen genutzt (siehe Tab. 1). Das Verwenden etablierter Instrumente ist notwendig, wenn gesicherte Aussagen getroffen werden sollen, jedoch vorab Instrumente nicht selbst entwickelt und in separaten Evaluationsstudien geprüft werden können. Etablierte Erhebungsinstrumente können auf verschiedene Weise beschafft werden. Zum einen gibt es eine Vielzahl an Instrumenten, die online als Open-Access-Ressourcen verfügbar sind. Für solch etablierte Instrumente sind entsprechende psychometrische Eigenschaften wie Reliabilität und Validität in der Regel bereits empirisch überprüft und durch entsprechende Kennwerte dokumentiert, sodass eine Erhebung unter Verwendung solcher Instrumente die Gütekriterien guter Wissenschaftspraxis erfüllt.
Unabhängig davon sollten die psychometrischen Eigenschaften bei der Verwendung der Messinstrumente in einem neuen Kontext immer erneut überprüft und dokumentiert werden. Dazu wurden in diesem Praxisbeispiel die Fragen, auf denen die angestrebten quantitativen Aussagen beruhen, für die gesamte Stichprobe in gleicher Weise gestellt (Frageformulierung, Antwortformate, die Position der Frage im Fragebogen sowie Layout und Instruktionen waren identisch). Für die abhängigen Variablen der Lehrer:innen-Befragung wurden bereits publizierte bzw. im Publikationsprozess befindliche Fragebögen eingesetzt, die nach erfolgreicher Literaturrecherche und in den o. g. Quellen auch hinsichtlich der psychometrischen Eigenschaften als angemessen angesehen wurden. Bei den Variablen zur Stichprobenbeschreibung (demografische sowie professionsbezogene Angaben) wurden Items aus internationalen Large-Scale-Assessments (siehe auch Klingebiel und Klieme 2016) entlehnt, da sich diese speziell für den formellen Lernkontext, in der die Teilnahme der Aktion erfolgt, anbieten. Diese internationalen Studien können auch als möglicher Referenzrahmen zur Einordnung der professionsbezogenen Daten herangezogen werden. Insgesamt konnte ein hohes Maß an Standardisierung eingehalten werden (siehe dazu bspw. Schaeffer und Maynard 2008).
Pilotierung. Besonders in der Planungsphase sind alle wichtigen Entscheidungen zu treffen und divergierende Anforderungen abzuwägen. Eine Pilotierung der Studie ist notwendig, um bspw. herauszufinden, wie lange die geplante Befragung dauert, ob die Umsetzung technisch fehlerfrei erfolgt ist oder ob Teilnehmende die gestellten Fragen korrekt verstehen. Weiterhin gilt es, ein Optimum zwischen dem workload der Stichprobe und somit der Länge der Befragung und den zu beantwortenden Forschungs- bzw. Evaluationsfragen zu ermitteln. Als Faustregel gilt, dass Online-Befragungen nicht länger als 15 min dauern sollten (Bosnjak 2002). Die Anzahl der Fragen, die in dem vorgegebenen Zeitintervall bearbeitet werden können, wurden dazu vorab mit einer freiwilligen Stichprobe empirisch ermittelt.
Online-Befragungen. Die Durchführung der Erhebung als Online-Befragung ist hilfreich, wenn diese – wie auch im vorliegenden Praxisbeispiel – über einen längeren Zeitraum und über verschiedene Länder hinweg erfolgen soll. Hieraus ergeben sich jedoch Besonderheiten gegenüber einer analogen, schriftlichen Befragung einer Stichprobe, die bereits in der Pilotierungsphase mitgedacht werden müssen. Hier muss insbesondere ein sorgfältiges und langwieriges Testen der technischen Durchführbarkeit der Befragung auf unterschiedlichsten Endgeräten eingeplant werden. Ebenfalls empfehlenswert ist es, dass die Befragten über die gesamte Befragung hinweg erkennen können, wie weit sie im Fragebogen fortgeschritten sind, um so den erwarteten zeitlichen Anspruch besser einschätzen zu können (Schnell 2012). Im Praxisbeispiel der Begleitforschung wurde dies durch einen Fortschrittsbalken ermöglicht, denkbar wäre jedoch auch eine durchgehende Nummerierung der gestellten Fragen (z. B. „Frage 5 von 25“). Auch hinsichtlich Aufbau und Struktur einer Online-Befragung gilt es einiges zu beachten. Zunächst sollte die erste Seite – ähnlich dem Deckblatt einer analogen Befragung – alle wichtigen Informationen über die Befragung, wie beispielsweise deren Zweck und Dauer sowie Angaben über die durchführende Organisation bzw. Ansprechpartner:innen, deren Kontaktinformation sowie Erläuterungen zum Umgang mit den erhobenen Daten beinhalten (Schnell 2012). Offene Fragen sollten nach Möglichkeit am Ende der Befragung gestellt werden, da diese einen vorzeitigen Abbruch wahrscheinlicher machen (Schnell 2012). Nach Übermittlung der Antworten sollte den Teilnehmenden der Befragung für ihre Teilnahme gedankt werden.
Weiterhin muss das verwendete technische System den nötigen Anforderungen entsprechen und eine korrekte Durchführung der Online-Befragung auch bei zeitgleichem Zugriff durch eine große Zahl an Personen und bei Abruf auf unterschiedlichen Endgeräten funktionieren (Schnell 2012). Für die Lehrer:innen-Befragung im Rahmen der Begleitforschung wurde deshalb das kostenpflichtige2, datenschutzkonforme Umfrage-Tool Unipark der Tivian XI GmbH genutzt.
Darüber hinaus muss technisch sichergestellt sein, dass jede befragte Person die Online-Umfrage nur einmal beantworten kann, jedoch ist es zugleich empfehlenswert, dass Unterbrechungen der Befragung möglich sind. Es ist darauf zu achten, dass eine Wiederaufnahme nach einer solchen Unterbrechung an derselben Stelle in der Umfrage erfolgt (Schnell 2012). Im Falle der Lehrer:innen-Befragung wurden hierzu Cookies eingesetzt. Es ist wichtig zu beachten, dass die Verwendung von Cookies im Einklang mit der Europäische Datenschutz-Grundverordnung (DSGVO) hinweispflichtig ist.
Auch die Akquise der Stichprobe kann bei einer Online-Befragung auf unterschiedliche Weise erfolgen, abhängig davon, ob es sich um eine willkürliche Stichprobe oder eine echte Zufallsstichprobe handelt. Im Falle der Lehrer:innen-Befragung des hier vorgestellten Praxisbeispiels wurden die Einladungen zur Befragung mittels einer E-Mail-Liste3 an interessierte Lehrer:innen versendet, wenn diese zuvor Aktionsmaterialien bestellt hatten. So konnten Lehrkräfte via eines per E-Mail an sie versendeten Links unmittelbar an der Befragung teilnehmen.

3.2 Durchführung

Die Lehrer:innen-Befragungen der Begleitforschung Plastic Pirates – Go Europe! wurden im Zeitraum von September 2020 bis Juni 2022 durchgeführt (siehe Abb. 1). Die Befragung der Stichproben fand zu jeweils zwei Messzeitpunkten statt, sodass die Befragten einmal vor und einmal nach Abschluss des Aktionszeitraums Angaben machten. Mittels eines persönlichen Codes, den die Teilnehmenden selbst generierten, konnten die pseudonymisierten Daten der verschiedenen Messzeitpunkte einzelnen Teilnehmenden zugeordnet werden. Die Grundgesamtheit für die Panelstudie bildeten alle Lehrer:innen, die für den entsprechenden Aktionszeitraum die erforderlichen Materialien auf der Aktions-Webseite bestellt hatten. Somit wurden zum einen Lehrer:innen befragt, die an der Aktion teilgenommen hatten. Zum anderen nahmen aber auch Personen an der Befragung teil, die ihr Interesse an der Citizen-Science-Aktion bekundet hatten, eine Teilnahme aus vielfältigen Gründen4 aber nicht realisieren konnten.

3.3 Auswertung

Zugunsten von Hinweisen zur praktischen Umsetzbarkeit von Panelstudien wurde dem Bericht erster Ergebnisse nachfolgend etwas weniger Gewicht verliehen.5 Der Aktionszeitraum Herbst 2020 (Panel I) ist als Pilotierung zu kennzeichnen. In dieser Phase wurden vor allem inhaltliche und technische Optimierungsbedarfe der begleitenden Aktion identifiziert.
Für die Lehrer:innen-Befragung gilt, dass die Teilnahme an der Aktion unabhängig von der freiwilligen Teilnahme an der Befragung erfolgen konnte. Zudem hatten einige Lehrkräfte bereits bei vorherigen Aktionszeiträumen (vor dem Herbst 2020) die Materialien bestellt und konnten somit nicht für die Befragung akquiriert werden (projektspezifische Besonderheit). Zwar wäre ein vollständiges Erreichen der Grundgesamtheit denkbar, jedoch ist eine solche Vollerhebung nicht immer möglich oder notwendig (siehe dazu auch Mayntz et al. 1969). Für die Datenerhebung im Rahmen der Pilotierung konnte eine zufriedenstellend große Stichprobe von N = 119 (prä und post) – in Relation zu den hochgeladenen Datensätzen des Aktionszeitraums von N = 82 – erreicht werden. Weiterhin zeigte die Pilotierung, dass die Befragung technisch fehlerfrei umgesetzt werden konnte und bspw. die geplante Befragungsdauer als angemessen einzuschätzen war.
Nach Hinweisen aus der Projektpraxis wurde die Strategie der Datenerhebung nach der Pilotierung für die Haupterhebung erweitert: Da nicht alle Lehrer:innen, die die Aktionsmaterialien herunterladen, eine Umsetzung der Citizen-Science-Aktion tatsächlich realisieren und zudem die anhaltende COVID-19-Pandemie in einigen Fällen eine geplante Umsetzung unmöglich machte, wurde für die Lehrer:innen-Befragung eine Abzweigung für Nicht-Teilnehmende an der Citizen-Science-Aktion berücksichtigt, um auch deren Einschätzungen (wie z. B. die Gründe für eine Nicht-Teilnahme) zu erfassen. Für die Haupterhebungen (Panel II und III) wurden alle in dem jeweiligen Aktionszeitraum registrierten Lehrer:innen kontaktiert. Diese Datenerhebungsstrategie entspricht zwar der einer Panelstudie, jedoch nahmen nicht alle Befragten sowohl zum ersten als auch zum zweiten Messzeitpunkt an der Befragung teil. Die Erhebungen bedeuten aber für die explorative Nutzung weiterhin eine sinnvolle Datenbasis.6 Während für die Überprüfung der psychometrischen Eigenschaften der eingesetzten Skalen (siehe Tab. 1) die Daten der gesamten Stichprobe aus Panel II und III aus dem Frühjahr und Herbst 2021 genutzt werden können, liegen für einen Vorher-Nachher-Vergleich nur Datensätze von Sub-Stichproben vor.
Tab. 1
Skalendokumentation METI und FEWAW
Konstrukt
Name des Instruments
Quelle
Kurzbeschreibung
Erhebungszeitpunkt
Ermitteltes Cronbachs Alpha
Mittelwert (SD)
Min – Max (Skala)
Vertrauen in Wissenschaftler:innen – prä
Muenster Epistemic Trustworthiness Inventory (METI)
Hendriks et al. (2015)
Eignet sich zur Erfassung von Einschätzungen von Vertrauenswürdigkeit. Mit 14 antonymen Adjektivpaaren (negativ – positiv) werden die Subdimensionen Expertise, Integrität und Wohlwollen gemessen. Semantisches Differential mit sieben Abstufungen.
METI
Subskala Expertise
Hendriks et al. (2015)
6 Items
Hauptstudie prä
n = 152
α = 0,92
6,0 (1,02)
1–7
Hauptstudie post
n = 124
α = 0,92
6,17 (0,96)
1–7
METI
Subskala Integrität
Hendriks et al. (2015)
4 Items
Hauptstudie prä
n = 152
α = 0,94
5,5 (1,2)
1–7
Hauptstudie post
n = 124
α = 0,92
5,61 (1,10)
1–7
METI
Subskala Wohlwollen
Hendriks et al. (2015)
4 Items
Hauptstudie prä
n = 152
α = 0,93
5,31 (1,16)
1–7
Hauptstudie post
n = 124
α = 0,93
5,47 (1,15)
1,5–7
Authentizität
– post
Fragebogen zur mehrdimensionalen Erfassung der Authentizitätswahrnehmung der Wissenschaftsvermittlung im Schülerlabor (FEWAW)
Finger et al. (2022)
Fragebogen zur Messung der Authentizitätswahrnehmung der Wissenschaftsvermittlung mit den Authentizitätsdimensionen Ort, Vorgehen und Innovation. 10 Items, fünfstufige Likertskala: „1 – stimme gar nicht zu“ bis „5 – stimme voll und ganz zu“
FEWAW
Subskala Ort
Finger et al. (2022)
3 Items
Hauptstudie post
n = 88
α = 0,89
3,75 (1,05)
1–5
FEWAW
Subskala Vorgehen
Finger et al. (2022)
4 Items
Hauptstudie post
n = 88
α = 0,80
4,09 (0,74)
2,3–5
FEWAW Subskala Innovation
Finger et al. (2022)
3 Items
Hauptstudie post
n = 88
α = 0,80
4,34 (0,61)
2,7–5
Für die Aktionszeiträume Frühjahr und Herbst 2021 (Panel II und III) wurden Daten für die deutsch- und slowenischsprachigen Stichproben erhoben.7 Die Auswertung erfolgte über beide Zeiträume (Panel II und III) hinweg. Wie bereits beschrieben, liegen nicht für alle Teilnehmenden der Befragung die Daten für beide Messzeitpunkte vor. Zum ersten Messzeitpunkt der Hauptstudie ist ein Großteil der befragten Lehrer:innen in diesem Projekt weiblich und weist eine sehr heterogene Berufserfahrung in Jahren auf (Tab. 2).
Tab. 2
Deskriptive Statistik
Erster Messzeitpunkt
 
N
Ja
Nein
Lehrkraft
152
91,4 %
8,6 %
 
N
Männlich
Weiblich
Divers
Keine Angabe
Geschlecht
152
18,3 %
81,0 %
0 %
0,7 %
 
N
M
SD
Min – Max
Alter in Jahren
152
44
9,7
26–72
Berufserfahrung in Jahren
139
14
9,3
0–50
Zweiter Messzeitpunkt
 
N
Ja
Nein
Lehrkraft
124
89,4 %
10,6 %
 
N
Männlich
Weiblich
Divers
Keine Angabe
Geschlecht
124
21,8 %
77,4 %
0 %
0,8 %
 
n
M
SD
Min–Max
Alter in Jahren
124
45,2
10,1
27–72
Berufserfahrung in Jahren
90
15,9
10,2
0–50

3.4 Ergebnisse

Die Lehrer:innen bewerten das Vorgehen sowie die Arbeitsweisen als eine authentische Form der Wissenschaftsvermittlung (siehe Tab. 1). Dies bezieht sich einerseits auf die Einschätzung der zu bearbeitenden Fragestellung in dem Projektkontext8 sowie dem wissenschaftlichen Vorgehen9 und andererseits auf die Einschätzung der Authentizität des Ortes10, an dem Schulklassen forschend tätig wurden.
Für insgesamt n = 45 Befragte liegen Längsschnittdaten vor.11 Anhand dieser Substichprobe wird das Vertrauen in Wissenschaftler:innen sowohl als Voraussetzung für eine Teilnahme sowie als Ergebnis der Beteiligung berichtet, um die Ausprägung vor und nach der Intervention innerhalb einer verbundenen Stichprobe vergleichend darstellen zu können. Lehrer:innen nehmen Wissenschaftler:innen mehrheitlich als kompetent, integer und wohlwollend wahr. Insgesamt schätzen die befragten Lehrer:innen Wissenschaftler:innen somit als vertrauenswürdig ein.12

4 Vorteile von Befragungen in der Evaluation der Wissenschaftskommunikation

Befragungen mit mehreren Messzeitpunkten. Befragungen mit mehreren Messzeitpunkten bieten sich speziell bei der Untersuchung der Veränderung subjektiver Merkmale „wie z. B. Einstellungen, Kompetenzen und psychische Skalen“ (Pforr und Schröder 2015, S. 2) an, da diese zwar auch mittels Retrospektivfragen in Querschnittsstudien erhoben werden können, es hier jedoch z. B. durch verzerrte Erinnerungen der Befragten zu erheblichen Validitätsproblemen kommen kann (Pforr und Schröder 2015). Zudem können bei der Entscheidung zur Durchführung einer Panelstudie neben methodischen auch pragmatische Gründe eine Rolle spielen. So können sich Panelstudien beispielsweise anbieten, wenn im Rahmen einer Befragung eine große Anzahl von Fragen durch Individuen zu beantworten ist. Durch die Verteilung von Variablen, für die keine Veränderungshypothesen formuliert werden (wie bspw. demografische oder berufsbezogene Angaben), auf verschiedene Befragungswellen kann die Belastung der Befragten reduziert werden (Pforr und Schröder 2015). Im Falle der Lehrer:innen-Befragung im Rahmen der Begleitforschung wurden z. B. soziodemografische Angaben nur zum ersten Messzeitpunkt erhoben, da davon auszugehen war, dass diese über die Messzeitpunkte hinaus konstant blieben.
Online-Befragungen. Die Umsetzung einer Online-Befragung lässt gegenüber analogen, schriftlichen Erhebungen praktische Stärken erkennen. Zum einen ist eine Befragung schnell und ökonomisch umsetzbar, da die erhobenen Daten nach der Befragung nicht manuell eingegeben werden müssen, sondern unmittelbar nach der Erfassung digital zur Verfügung stehen (Schnell 2012). Die geringen Kosten für den Versand von E-Mails gegenüber anderen Modi in der Akquise sowie dem Nacherfassen der Stichprobe (Teilnahmeerinnerungen) stellen insbesondere bei der mehrmaligen Befragung, wie sie bspw. in Panelstudien erforderlich ist, einen merklichen Vorteil dar (Evans und Mathur 2005). Die einfache Überwindung geografischer sowie zeitlicher Barrieren durch die Durchführung einer Online-Befragung erlaubte es im Falle der Begleitforschung der Aktion Plastic Pirates – Go Europe!, die wiederholte Befragung bei relativ geringem personellem und finanziellem Aufwand in drei Sprachen zu adaptieren und somit kostengünstig international zu skalieren.
Ein Vorteil speziell von Online-Befragungen liegt in ihrer flexiblen Gestaltung und der Möglichkeit, verschiedenen Personen(-gruppen) nur die für sie relevanten Fragen anzuzeigen (Evans und Mathur 2005). Auch im hier vorgestellten Praxisbeispiel erhielten die Befragten auf sie zugeschnittene Umfragen, abhängig davon, ob sie z. B. Lehrer:innen waren oder nicht an der Aktion Plastic Pirates – Go Europe! teilgenommen hatten.

5 Nachteile von Befragungen in der Evaluation der Wissenschaftskommunikation

Befragungen mit mehreren Messzeitpunkten. Trotz vieler Vorteile haben Paneldesigns auch spezifische Nachteile, die es bereits bei der Planung der Erhebung zu bedenken gilt (van den Bogaert und Wirth 2020). Durch die freiwillige Teilnahme an den Panelbefragungen der Begleitforschung, die nicht an eine Teilnahme an der Aktion selbst geknüpft war, variierte die Stichprobe zu den einzelnen Messzeitpunkten, und zugleich lassen die erhobenen Daten der Stichproben nur beschränkt Rückschlüsse auf die Grundgesamtheit der an der Aktion beteiligten Lehrer:innen und Schüler:innen zu. Hier liegt auch schon eine der größten praktischen Schwierigkeiten einer Panelstudie: Die sogenannte Panelmortalität, die eine Nicht-Teilnahme zu allen Messzeitpunkten beschreibt. Dies wird vor allem dann zu einer methodischen Herausforderung, wenn die Ausfälle systematisch erfolgen und dadurch eine Verzerrung der Stichprobe auftritt (Diekmann 2009), da der Ausfall dann unmittelbar mit dem Untersuchungsgegenstand zusammenhängt (Tausendpfund 2018). Daher ist eine sorgfältige Kontaktpflege mit einer systematischen Kommunikationsstrategie wertvoll, um den Schwund im Panel durch fehlende oder sich ändernde Kontaktdaten möglichst zu minimieren. Insgesamt ist es ratsam, die erwartete Panelmortalität zuvor zu reflektieren und eine größere Stichprobe zu generieren (Schnell et al. 2018). Die Gründe für ein kleiner werdendes Panel sind vielfältig und nicht immer durch organisatorische Maßnahmen abwendbar. Jedoch sollten Art und Umfang der Befragung mit Blick auf Freude, Schwierigkeit oder Belastung für die Teilnehmenden festgelegt werden, da diese Faktoren maßgeblich bei der Entscheidung sind, ob eine erneute Teilnahme erwogen wird (Hill und Willis 2001).
Neben der Panelmortalität können Erinnerungs-, Anpassungs-, Gewöhnungs- und Sättigungseffekte auftreten. Als sog. Paneleffekte (Schnell 2012) beschreiben sie das Phänomen, dass Teilnehmende aufgrund der wiederholten Befragung ihre Antworten ändern. Paneleffekte sind vor allem bei mehreren relativ umfangreichen Wiederholungserhebungen in kurzen Zeitabständen zu erwarten (Lohaus und Vierhaus 2015).
Online-Befragungen. Auch aus der Gestaltung der Befragung als Online-Befragung ergeben sich einige spezifische Nachteile. Beispielsweise birgt die Wahl einer selbstrekrutierten Stichprobe, wie sie auch im Falle der Panelstudien im Rahmen der Begleitforschung gezogen wurde, die Schwierigkeit, dass nur bedingt Schlüsse über die Grundgesamtheit gezogen werden können. Dies liegt vorrangig daran, dass die Befragten sich freiwillig zur Teilnahme an der Umfrage entschließen und damit keine Aussagen darüber möglich sind, ob und inwieweit sich diese von jenen Personen unterscheiden, die sich nicht zur Teilnahme an der Befragung entschlossen haben (Schnell 2012).
Zuletzt kann die Durchführung einer Panelstudie als Online-Befragung die beschriebene Schwierigkeit der Panelmortalität verstärken. Nicht nur der vorzeitige Abbruch, sondern auch das Ausscheiden zwischen den Messzeitpunkten sind bei einer Online-Befragung zumindest gegenüber einer persönlichen Befragung wahrscheinlicher. Im vorgestellten Praxisbeispiel wurde versucht, dieser Herausforderung durch die intensive Betreuung der befragten Lehrer:innen per E-Mail oder per Telefon zu begegnen.

6 Fazit

Mit der Zunahme partizipativer Formen der Wissenschaftskommunikation und deren wachsender Bedeutung gilt es für Evaluationsvorhaben, gesicherte Erkenntnisse über die Teilnehmenden dieser Formate sowie beispielsweise über deren Einstellungen und Erwartungen zu generieren. Quantitative Erhebungsmethoden können einen wertvollen Zugang zu derartigen Fragestellungen bieten. Für die Citizen-Science-Aktion Plastic Pirates – Go Europe! konnte mittels der hier vorgestellten Panelbefragung der Lehrkräfte die Fragen danach, wer an einer solchen Kampagne teilnimmt, systematisch näher beantwortet werden, wobei die Ergebnisse in diesem Beitrag nur ausschnittsweise berichtet werden konnten.
Neben der hier vorrangig fokussierten Nutzung der erhobenen Daten zur Beschreibung von Eigenschaften der Teilnehmenden, können Paneldaten durch die Erhebung bestimmter Merkmale zu mindestens zwei Messzeitpunkten auch zur Überprüfung von Hypothesen dienen. Dennoch sollten die Herausforderungen einer Panelbefragung trotz ihrer methodischen und praktischen Stärken bei der Planung eines solchen Forschungsvorhabens genau reflektiert werden.

Danksagung

Die Begleitforschung zur Citizen-Science-Aktion Plastic Pirates – Go Europe! wurde mit Mitteln des Bundesministeriums für Bildung und Forschung (BMBF) unter dem Förderkennzeichen 01DRP2015 gefördert. Die Verantwortung für den Inhalt dieser Veröffentlichung liegt bei den Autorinnen.
Open Access Dieses Kapitel wird unter der Creative Commons Namensnennung 4.0 International Lizenz (http://​creativecommons.​org/​licenses/​by/​4.​0/​deed.​de) veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Kapitel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
Fußnoten
1
Die Dimension Vermittler:in wird in dem Begleitforschungsvorhaben nicht untersucht, da die Lehrer:innen in diesem Projekt die Rolle der Vermittler:innen innehaben und somit eine Bewertung der Dimension nicht möglich ist.
 
2
Neben kostenpflichtigen Umfrage-Tools gibt es auch kostenfreie Angebote oder solche, die auf ein gestaffeltes Preismodell setzen. Hier sind die (ökonomischen) Vorteile im Einzelfall gegen Nachteile z. B. hinsichtlich des möglichen Umfangs der Befragung abzuwägen.
 
3
Die E-Mail-Liste wurde durch das Ecologic Institut verwaltet, welches das Organisationsbüro der Aktion Plastic Pirates – Go Europe! betreut. Die Begleitforschung hatte somit keinen unmittelbaren Zugriff auf die Adressen.
 
4
Die Feldphase der Lehrer:innen-Befragung ging von Herbst 2020 bis Herbst 2021 und war daher in ihrer Umsetzung stark durch die COVID-19-Pandemie und die begleitenden Maßnahmen beeinflusst.
 
5
Weitere wissenschaftliche Publikationen in Fachzeitschriften über die Ergebnisse der Begleitforschung sind geplant.
 
6
Dies gilt, sofern den unvollständigen Teilnahmen kein systematischer Befragungsabbruch (Dropout) zugrunde liegt.
 
7
Eine Teilnahme an der Aktion konnte in Portugal aufgrund unterschiedlicher Faktoren wie u. a. der Corona-Pandemie nicht umgesetzt werden.
 
8
Subskala Innovation M (SD) = 4,34 (0,61); Median = 4,3; Modus = 5.
 
9
Subskala Vorgehen M (SD) = 4,09 (0,74); Median = 4; Modus = 4.
 
10
Subskala Ort M (SD) = 3,75 (1,05); Median = 3,8; Modus = 5.
 
11
Alter M = 48,6 Jahre (SD = 10,6); 77,8 % weiblich; 22 % männlich; 0 % divers; 2,2 % machten keine Angabe über ihr Geschlecht, mittlere Berufserfahrung in Jahren M = 16,8; SD = 11,1.
 
12
Die drei – für die Subskalen separaten – Varianzanalysen mit Messwiederholung (A: Subskala Expertise M (SD)prä = 6,06 (1,06); M (SD)post = 5,95 (1,34); B: Subskala Integrität M (SD)prä = 5,71 (1,14); M (SD)post = 5,49 (1,30); C: Subskala Wohlwollen M (SD)prä = 5,49 (1,13); M (SD)post = 5,38 (1,31)) mit Greenhouse–Geisser-Korrektur zeigen, dass es für das getroffene Vertrauensurteil keine statistisch signifikante Veränderung über das untersuchte Zeitintervall gibt, A: F(1, 44) = 0,00; B: F(1, 44) = 1,30, C: F(1, 44) = 0,19.
 
Literatur
Zurück zum Zitat Ball R (2020) Wissenschaftskommunikation im Wandel. Von Gutenberg bis Open Science. Springer VS, WiesbadenCrossRef Ball R (2020) Wissenschaftskommunikation im Wandel. Von Gutenberg bis Open Science. Springer VS, WiesbadenCrossRef
Zurück zum Zitat Bernard R (2000) Social research methods: qualitative and quantitative approaches. Sage, Thousand Oaks Bernard R (2000) Social research methods: qualitative and quantitative approaches. Sage, Thousand Oaks
Zurück zum Zitat Betz A, Flake S, Mierwald M, Vanderbeke M (2016) Modelling authenticity in teaching and learning contexts a contribution to theory development and empirical investigation of the construct. In: Looi CK, Polman J, Cress U, Reimann P (Hrsg) Transforming learning, empowering earners: The International Conference of the Learning Sciences (ICLS), Bd 2. Singapur, International Society of the Learning Sciences, S 815–818 Betz A, Flake S, Mierwald M, Vanderbeke M (2016) Modelling authenticity in teaching and learning contexts a contribution to theory development and empirical investigation of the construct. In: Looi CK, Polman J, Cress U, Reimann P (Hrsg) Transforming learning, empowering earners: The International Conference of the Learning Sciences (ICLS), Bd 2. Singapur, International Society of the Learning Sciences, S 815–818
Zurück zum Zitat Bosnjak M (2002) (Non)Response bei Web-Befragungen. Shaker, Aachen Bosnjak M (2002) (Non)Response bei Web-Befragungen. Shaker, Aachen
Zurück zum Zitat Bromme R (2020) Informiertes Vertrauen: Eine psychologische Perspektive auf Vertrauen in Wissenschaft. In: Jungert M, Frewer A, Mayr E (Hrsg), Wissenschaftsreflexion. Interdisziplinäre Perspektiven zwischen Philosophie und Praxis. Mentis Verlag, Paderborn, S 105–134 Bromme R (2020) Informiertes Vertrauen: Eine psychologische Perspektive auf Vertrauen in Wissenschaft. In: Jungert M, Frewer A, Mayr E (Hrsg), Wissenschaftsreflexion. Interdisziplinäre Perspektiven zwischen Philosophie und Praxis. Mentis Verlag, Paderborn, S 105–134
Zurück zum Zitat Diekmann A (2009) Empirische Sozialforschung. Rowohlt, Reinbeck bei Hamburg Diekmann A (2009) Empirische Sozialforschung. Rowohlt, Reinbeck bei Hamburg
Zurück zum Zitat Einsiedel EF (2008) Public participation and dialogue. In: Bucchi M, Trench B (Hrsg) Handbook of public communication of science and technology, Routledge, London, S 173– 184 Einsiedel EF (2008) Public participation and dialogue. In: Bucchi M, Trench B (Hrsg) Handbook of public communication of science and technology, Routledge, London, S 173– 184
Zurück zum Zitat Evans JR, Mathur A (2005) The value of online surveys. Internet Res 15(2):195–219CrossRef Evans JR, Mathur A (2005) The value of online surveys. Internet Res 15(2):195–219CrossRef
Zurück zum Zitat Finger L, van den Bogaert V, Sommer K, Wirth J (2022) Das Schülerlabor als Ort authentischer Wissenschaftsvermittlung? Entwicklung und Validierung eines Fragebogens zur Erfassung der Authentizitätswahrnehmung der Wissenschaftsvermittlung im Schülerlabor. Zeitschrift für Didaktik der Naturwissenschaften, 28(2). https://doi.org/10.1007/s40573-022-00139-4 Finger L, van den Bogaert V, Sommer K, Wirth J (2022) Das Schülerlabor als Ort authentischer Wissenschaftsvermittlung? Entwicklung und Validierung eines Fragebogens zur Erfassung der Authentizitätswahrnehmung der Wissenschaftsvermittlung im Schülerlabor. Zeitschrift für Didaktik der Naturwissenschaften, 28(2). https://​doi.​org/​10.​1007/​s40573-022-00139-4
Zurück zum Zitat Hill DH, Willis RJ (2001) Reducing panel attrition: a search for effective policy instruments. J Hum Resour 36(3):416–438CrossRef Hill DH, Willis RJ (2001) Reducing panel attrition: a search for effective policy instruments. J Hum Resour 36(3):416–438CrossRef
Zurück zum Zitat Klingebiel F, Klieme E (2016) Teacher qualifications and professional knowledge. In: Kuger S, Klieme E, Jude N, Kaplan D (Hrsg), Assessing contexts of learning. Springer, Cham, S 447– 468 Klingebiel F, Klieme E (2016) Teacher qualifications and professional knowledge. In: Kuger S, Klieme E, Jude N, Kaplan D (Hrsg), Assessing contexts of learning. Springer, Cham, S 447– 468
Zurück zum Zitat Schaeffer NC, Maynard DW (2008) The contemporary standardized survey interview for social research. In: Conrad FG, Schober MF (Hrsg) Envisioning the survey interview of the future. Wiley, Hoboken, S 31–57 Schaeffer NC, Maynard DW (2008) The contemporary standardized survey interview for social research. In: Conrad FG, Schober MF (Hrsg) Envisioning the survey interview of the future. Wiley, Hoboken, S 31–57
Zurück zum Zitat Schnell R (2012) Survey-Interviews: Methoden standardisierter Befragungen. VS Verlag, WiesbadenCrossRef Schnell R (2012) Survey-Interviews: Methoden standardisierter Befragungen. VS Verlag, WiesbadenCrossRef
Zurück zum Zitat Schnell R, Hill PB, Esser E (2018) Methoden der empirischen Sozialforschung, 11., überarbeitete Aufl. De Gruyter Oldenbourg, Berlin, XIV, S 534 Schnell R, Hill PB, Esser E (2018) Methoden der empirischen Sozialforschung, 11., überarbeitete Aufl. De Gruyter Oldenbourg, Berlin, XIV, S 534
Zurück zum Zitat Tausendpfund M (2018) Quantitative Befragungen in der Politikwissenschaft. Eine Einführung. Springer, Berlin Tausendpfund M (2018) Quantitative Befragungen in der Politikwissenschaft. Eine Einführung. Springer, Berlin
Zurück zum Zitat van den Bogaert V, Wirth J (2020) Praxisbeitrag – Panelbefragung als Instrument der Veränderungsmessung am Beispiel der Interessenentwicklung. In: Sommer K, Wirth J, Vanderbeke M (Hrsg) Handbuch Forschen im Schülerlabor – Theoretische Grundlagen, empirische Forschungsmethoden und aktuelle Anwendungsgebiete. Waxmann, Münster, S 257–266 van den Bogaert V, Wirth J (2020) Praxisbeitrag – Panelbefragung als Instrument der Veränderungsmessung am Beispiel der Interessenentwicklung. In: Sommer K, Wirth J, Vanderbeke M (Hrsg) Handbuch Forschen im Schülerlabor – Theoretische Grundlagen, empirische Forschungsmethoden und aktuelle Anwendungsgebiete. Waxmann, Münster, S 257–266
Metadaten
Titel
Praxisbeitrag: Quantitative Befragungen
verfasst von
Valerie Knapp
Vanessa van den Bogaert
Copyright-Jahr
2023
DOI
https://doi.org/10.1007/978-3-658-39582-7_6