Evaluationsmethoden der Wissenschaftskommunikation

Evaluationen bieten einen wichtigen Mehrwert für Wissenschaftskommunikation, denn anhand ihrer Ergebnisse lässt diese sich zukünftig zielorientiert und effektiv gestalten. Zur Zeit steht die Evaluation von Wissenschaftskommunikation in Deutschland allerdings noch vor Herausforderungen. So ergeben sich bereits vor Beginn der Evaluationen Probleme durch fehlende strategische Planung von Wissenschaftskommunikation. Darüber hinaus mangelt es bei Evaluationen oft an passenden Evaluationsdesigns und geeigneten Datenerhebungsmethoden. Zu guter Letzt erschwert das in der deutschen Wissenschaftskommunikationspraxis vorherrschende Bild von Evaluation einen kollektiven und konstruktiven Lernprozess für die Wissenschaftskommunikation. Diese Herausforderungen gilt es zu überwinden, damit Evaluation als kollektiver Reflexionsprozess zur konstruktiven Weiterentwicklung von Wissenschaftskommunikation beitragen kann.

Wissenschaftskommunikation kann unterschiedliche Ziele verfolgen, sich an unterschiedliche Zielgruppen richten und dabei unterschiedliche Maßnahmen einsetzen. Ob sie die beabsichtigten Wirkungen erzielt, lässt sich erst durch eine systematische Evaluation feststellen. Dieser Beitrag führt in die Logik von Evaluation ein, indem es grundlegende Evaluationsmodelle, -stufen und -objekte erklärt. Es stellt ein integriertes Evaluationsmodell für die Wissenschaftskommunikation vor, das a) Evaluation als letzte Phase in einem übergeordneten Zyklus begreift (Situationsanalyse, Planung, Umsetzung), b) zwei Evaluationsformen (summativ, formativ) dazu in Bezug setzt, c) vier Evaluationsstufen (Inputs, Outputs, Outcomes, Impacts) unterscheidet und d) verschiedene Evaluationsobjekte (Projekt, Kampagne, Programme) und Zeithorizonte (kurz-, mittel-, langfristig) berücksichtigt. Der Beitrag gibt zudem einen Überblick über sozialwissenschaftliche und betriebswirtschaftliche Methoden und typische Kennzahlen für die Evaluation der Wissenschaftskommunikation.

Woran sind gute Evaluationen zu erkennen? Wie lassen sich praxistaugliche Evaluationsvorhaben auf hohem Niveau realisieren? Zur Beantwortung dieser Fragen werden im gleichnamigen Beitrag die Evaluationsstandards der DeGEval (Deutsche Gesellschaft für Evaluation) eingeführt. Dazu werden die 25 Einzelstandards, geordnet nach den vier Qualitätsdimensionen Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit detailliert beschrieben und erklärt.

Die quantitative Befragung ermöglicht eine effiziente Erhebung und Auswertung großer Mengen an Daten und hat somit ihren festen Platz im Methodenkanon vieler empirischer Wissenschaften. Der vorliegende Beitrag setzt sich im Rahmen der Evaluation von Wissenschaftskommunikation mit den Grundlagen dieses Erhebungsverfahrens auseinander und geht dabei zunächst auf wesentliche Merkmale und Klassifizierungsmöglichkeiten der Methode ein. In Hinblick auf Konzeption und Durchführung werden dann zentrale Anforderungen an das entsprechende Messinstrument, sowie die grundlegenden Eigenschaften von Messskalen und Antwortformaten dargelegt. Der Beitrag gibt zudem praktische Hinweise für die Verwendung von Ratingskalen und schließt mit einer Zusammenfassung bewährter Praktiken bei der allgemeinen Fragenkonstruktion.

Für die Untersuchung partizipativer Formen der Wissenschaftskommunikation bzw. zur Erfassung von Eigenschaften der Teilnehmende dieser Maßnahmen können quantitative Befragungen einen wertvollen methodischen Zugang darstellen. Der Praxisbeitrag beleuchtet die praktische Umsetzung derartiger Befragungen am Beispiel mehrwelliger, onlinegestützter Panelstudien, die begleitend zu einer internationalen Citizen-Science-Aktion durchgeführt wurden. Die vorgestellten Befragungen zielten u. a. darauf ab, nähere Erkenntnisse darüber zu gewinnen, wer an der Aktion teilnahm und welche Erwartungen an eine Teilnahme geknüpft wurden. Zuletzt werden im Beitrag Vorteile und Limitationen des Ansatzes diskutiert, die Praktiker:innen in der Entscheidung zum Einsatz solcher Befragungen bzw. bei deren Planung und Umsetzung bedenken sollten.

Der Beitrag beleuchtet das Potenzial qualitativer Befragungen zur Evaluation von Wissenschaftskommunikation. Qualitative Befragungen bieten sich immer dann an, wenn möglichst offen die Perspektiven, Bewertungen und Einschätzungen bestimmter Zielgruppen erhoben werden sollen. Insbesondere bei der Entwicklung neuer Formate und Formen von Wissenschaftskommunikation bieten sich narrative Befragungsformate zur Evaluation an. In der Forschung zeigt sich, dass halbstandardisierte Leitfadeninterviews sowie Fokusgruppen-Interviews sehr verbreitet sind. Qualitative Befragungen werden eingesetzt, um Expert:innen bzw. Wissenschaftler:innen, Bürger:innen und Vertreter:innen der Zivilgesellschaft sowie praktische Wissenschaftskommunikator:innen und Wissenschaftsjournalist:innen zu befragen. Qualitative Befragungen werden sowohl als primäre Forschungsmethode als auch in Kombination mit bzw. als Ergänzung zu standardisierten Methoden eingesetzt.

Der vorliegende Beitrag zeigt grundlegende Kriterien der sozialwissenschaftlichen Methode der Beobachtung auf und ordnet ihr Potenzial im Rahmen der Evaluation von Wissenschaftskommunikation ein. Der Beitrag geht dabei hauptsächlich auf eventbezogene Formate der externen Wissenschaftskommunikation ein, nennt aber auch Potenziale der (teilnehmenden) Beobachtung bei der Evaluation der Entstehung journalistischer Formate oder im Rahmen interner Wissenschaftskommunikation. Es wird insbesondere zwischen qualitativ und quantitativ ausgeprägten Formen der Beobachtung unterschieden und dargelegt, welche Schritte für eine erfolgreiche Durchführung zu beachten sind. Dabei werden auch Probleme und Herausforderungen bei der Anwendung der Methode genannt, derer durch die Beachtung bestimmter Gütekriterien vorgebeugt werden kann. Abschließend nennt der Beitrag Anwendungsszenarios und Beispiele für Beobachtungen im Rahmen von evaluativer Wissenschaftskommunikationsforschung.

Der Grundlagenbeitrag skizziert die Nutzungsdatenanalyse für den Bereich der Evaluationsforschung digitaler Wissenschaftskommunikationsprojekte und diskutiert ihre Stärken wie ihre Herausforderungen. Dazu werden verschiedene Typen von Nutzungsdaten beschrieben und exemplarisch Werkzeuge vorgestellt, diese zu erheben. Inwiefern kann es lohnenswert sein, Nutzungsdatenanalyse innerhalb von digitalen Wissenschaftskommunikationsprojekten zu betreiben und was kann bereits während der Projektplanungsphase beachtet werden, um Nutzungsdatenanalysemethoden sinnvoll einzusetzen? Es wird beschrieben, wie Erwägungen zum Datenschutz eine Herausforderung für die Nutzungsdatenanalyse darstellen, der damit verbundene Aufwand jedoch durch die Verwendung passender Werkzeuge auf ein Minimum reduziert werden kann. Zuletzt wird das Desiderat formuliert, die Nutzungsdatenanalyse als Methodenset weiter zu elaborieren – auch, um zukünftige digitale Wissenschaftskommunikationsformate untersuchen zu können.

Durch die fortschreitende Digitalisierung finden verschiedene Formen der Wissenschaftskommunikation zunehmend online statt. Insbesondere in Bürgerwissenschaftsprojekten können Entwicklungen zu digitalen Formen der Wissenschaftskommunikation genutzt werden, um ihre Effektivität zu evaluieren: Die Analyse des Nutzungsverhaltens und der durchgeführten Aktivitäten der Teilnehmenden in der Online-Umgebung des Projekts kann Aufschluss darüber geben, was Teilnehmende genau machen und womit sie sich beschäftigen. Diese Erkenntnis kann wiederum die Kommunikation mit Teilnehmenden verbessern. Am Beispiel eines Bürgerwissenschaftsprojekts zu Wildtieren wird die Analyse von Nutzungsdaten in der Wissenschaftskommunikation im Hinblick auf die Häufigkeit und Art der Beteiligung in Projektaktivitäten erläutert. Es wird deutlich, dass Beteiligungsmuster der Teilnehmenden von den intendierten Aktivitäten abweichen. Implikationen für das Lernen aus Bürgerwissenschaftsprojekten werden diskutiert.

Der Grundlagenbeitrag zu physiologischen Messungen behandelt ausgewählte, praxistaugliche Verfahren aus einem breiten Methodenspektrum, die sich für wissenschaftskommunikative Evaluationsvorhaben eignen. Vorgestellt werden diese gegliedert nach Erregungs-, Emotions-, Aufmerksamkeits- und Bewertungsindikatoren. Besonderes Augenmerk liegt auf der Methode der Blickaufzeichnung sowie auf der Real-Time-Response-Messung, deren Anwendung in der Praxis der Wissenschaftskommunikation besonders naheliegend erscheinen. Im Vergleich zu anderen Evaluationsmethoden wird deutlich, dass der Einsatz physiologischer Messungen insgesamt sowohl in Konzeption, Durchführung und Auswertung komplex ist, jedoch ein tiefgehendes Verständnis für Rezeptionsprozesse bei wissenschaftskommunikativen Artefakten schaffen kann.

In diesem Beitrag wird anhand der Untersuchung einer Virtual Reality Umgebung aus dem Themenbereich der Physik – KATRIN VR (vr.nawik.de) – beispielhaft gezeigt, wie eine spezifische Methode aus dem Repertoire der Verfahren zur physiologischen Messung bei der Evaluation von Angeboten der Wissenschaftskommunikation eingesetzt werden kann: Die Methode der Blickaufzeichnung. Dazu werden in einem ersten Schritt relevante evaluationsbezogene Fragestellungen am Beispiel von KATRIN VR aufgezeigt, die anschließend in einer quasi-experimentellen multimethodischen Untersuchung adressiert werden. Dabei wird die im Vordergrund stehende Blickaufzeichnung mit einem Wissenstest und der Methode des Lauten Denkens kombiniert, um Rezeption und Wirkungsaspekte der Virtual Reality Umgebung zu erfassen.

Der Grundlagenbeitrag fokussiert auf die Methode der Inhaltsanalyse inkl. Medienanalyse und reflektiert den Einsatz dieser im Bereich der Evaluation von Wissenschaftskommunikation. Nachdem einleitend deren Relevanz reflektiert wird, wird diese vorgestellt, indem Untersuchungsgegenstände, Analyseprozesse und Ziele der quantitativen/standardisierten und qualitativen Inhaltsanalyse erläutert werden. Herausgearbeitet werden dann die Analyseschwerpunkte der Inhalts- und Medienanalysen im Bereich der Evaluation von Wissenschaftskommunikation und ihrer Begleitforschung. Diese sind u. a. (1) Modi der Wissenschaftskommunikation, (2) die Genauigkeit der Berichterstattung, (3) die Darstellung, das Framing und die Bewertung von Wissenschaft und wissenschaftlichen Erkenntnissen, und (4) Dialogizität und Funktionalität der Wissenschaftskommunikation bzw. Funktionen der Öffentlichkeitsarbeit. Im letzten Punkt wird ein Ausblick gegeben und relevante Forschungslücken werden herausgestellt.

Der Beitrag skizziert die Potenziale inhaltsanalytischer Betrachtungen als Bestandteil der Begleitforschung von Initiativen im Bereich Wissenschaftskommunikation und speziell in Bezug auf den Einsatz interaktiver Online-Designs. Inhaltsanalytische Betrachtungen erwiesen sich als zielführende Ergänzung des Multi-Method Designs der Forschungsstudie, wobei die Verzahnung aller Methoden eine Rolle spielt. Die vorgestellte explorative Teilstudie erarbeitet auch inhaltliche Erkenntnisse. Online-Verfahren wie Foren oder Diskussionstische zeigten viel Potenzial für die Wissenschaftskommunikation insbesondere dann, wenn die Auswahl des Designs unter Berücksichtigung auf die Zielsetzung des Dialogverfahrens erfolgt. Mit den Ergebnissen deutet sich an, dass die Frage welche Kommunikationsmodi (deliberativ-konstruktiv, aggregierend oder additiv) in einem Dialogdesign entwickelt werden sollen bzw. können wichtiger ist als die Frage der Umsetzung als Online versus Präsenzveranstaltung.

Quantitative Testverfahren kommen zum Einsatz, wenn Leistungen von Personen gemessen werden sollen. Im Rahmen der Evaluation von Wissenschaftskommunikation ist dies bspw. der Fall, wenn durch Wissenschaftskommunikation Wissen oder Fähigkeiten von Teilnehmenden verbessert werden sollen und Evaluation empirisch prüfen möchte, ob dieses Ziel erreicht wurde. Bei der Auswahl, Entwicklung und Bewertung von Testverfahren sind Gütekriterien einzuhalten, damit das empirische Ergebnis inhaltlich sinnvoll interpretierbare Aussagen zulässt. Die Bewertung der empirischen Ergebnisse erfolgt zudem vor dem Hintergrund einer Bezugsnorm, die bewusst gewählt werden muss. In dem Beitrag gehen wir auf die verschiedenen Testgütekriterien und Bezugsnormen ein und plädieren für interdisziplinäre Kooperationen bei der Auswahl und Entwicklung von quantitativen Testverfahren für die Evaluation von Wissenschaftskommunikation.

Wenn der Erfolg partizipativer Formate in der Wissenschaftskommunikation evaluiert werden soll, ist die Entwicklung von Fähigkeiten zum wissenschaftlichen Denken eine Zieldimension. Diese Fähigkeiten gehören neben dem Wissen zur naturwissenschaftlichen Grundbildung. Zur Evaluierung von Wissen und Fähigkeiten sind sorgfältig entwickelte Tests geeigneter als Fragebögen, da aus ihren Ergebnissen gültige Schlussfolgerungen über das tatsächliche Wissen oder die Fähigkeiten von Personen möglich sind. Im Praxisbeitrag wird eine Vorlage für einen Test über Fähigkeiten zum wissenschaftlichen Denken vorgestellt, der an unterschiedliche Fachkontexte adaptierbar ist, und gezeigt, inwiefern gültige Schlussfolgerungen aus diesem Test gezogen werden können. Dazu werden Fähigkeiten zum wissenschaftlichen Denken als psychologisches Konstrukt beschrieben und es wird dargestellt, wie diese Fähigkeiten bei Personen erfasst werden können und was bei der Entwicklung von Tests beachtet werden muss.

In unserem Beitrag zeigen wir Potenziale und Limitationen von Experimenten in der Evaluation von Maßnahmen der Wissenschaftskommunikation auf. Dabei arbeiten wir zunächst den Unterschied zwischen experimentellen und nicht-experimentellen Studien heraus und zeigen deren spezifische Erkenntnismöglichkeiten auf. Die Logik von Experimenten wird anhand zahlreicher Beispiele aus der Literatur verdeutlicht. Das Kapitel schließt mit einem Blick auf methodische Herausforderungen und deren Bewältigung, die beim Experimentieren in der angewandten Forschung der Wissenschaftskommunikation besonders verbreitet sind.

Effektive Wissenschaftskommunikation wird in der Gesellschaft immer wichtiger. Daher ist es umso entscheidender, zu verstehen, wann und unter welchen Umständen Wissenschaftskommunikation gelingen kann. Eine anerkannte Methode dafür ist die experimentelle Vorgehensweise. Experimente erlauben es, kontrollierte Untersuchungen durchzuführen und Ursache-Wirkungsbeziehungen zu überprüfen. Sie können daher einen entscheidenden Beitrag zur Evaluation von Wissenschaftskommunikation leisten. In diesem Beitrag verdeutlichen wir anhand von drei Beispielen aus der Praxis, dass Experimente erfolgreich für die Erforschung von Wissenschaftskommunikation und genauer von Bürgerwissenschaftsprojekten ein- und umgesetzt werden können. Vor allem dann, wenn Forschende und Durchführende von Bürgerwissenschaftsprojekten beabsichtigen, die Wirksamkeit ihres Projektes zu evaluieren, stellen Experimente eine effektive Methode dar.

Verfahren der Bürger- und Öffentlichkeitsbeteiligung beziehen oftmals wissenschaftliches Wissen und konkrete Forschungserkenntnisse ein, sind im Rahmen der konkreten Fragestellung aber ergebnisoffen. Die Bürger:innen bzw. die beteiligten Akteur:innen (oftmals u. a. Wissenschaftler:innen) stehen im Mittelpunkt und definieren gemeinsam das Ergebnis, oder kommen je nach Verfahren auch zu unterschiedlichen Ergebnissen. Mit Blick auf die Ergebnisse ist für gute Verfahren der Öffentlichkeitsbeteiligung das Erwartungsmanagement wichtig: Welche Form sollen die Ergebnisse haben und welchen inhaltlichen Spielraum haben die beteiligten Akteure? Für einen optimalen Austausch mit den Bürger:innen in der Wissenschaftskommunikation und in Beteiligungsverfahren braucht es daher eine kontiinuierliche Weiterentwicklung von Prozessen und Methoden innerhalb der Verfahren selbst. Der Beitrag gibt einen Überblick über verschiedene Formen des Feedbacks und beleuchtet konkrete Feedbackmethoden anhand von Praxisbeispielen.

Mit „Mensch Wissenschaft!“ hat die Robert Bosch Stiftung in einem mehrstufigen und durch eine Evaluation begleiteten Verfahren ein dialogisches und partizipatives Angebot der Wissenschaftskommunikation entwickelt. Dabei handelt es sich um eine zweitägige Veranstaltung mit dem Ziel, einen gleichberechtigten Dialog zwischen Bürger:innen und Wissenschaftler:innen zu initiieren und auf diese Weise gegenseitiges Verständnis und Vertrauen zu fördern. Das Angebot ist als Blaupause für Dialogformate zwischen Bürger:innen und Wissenschaftler:innen gedacht. Die begleitende formative Evaluation ist ein praxisorientiertes Beispiel für den Einsatz verschiedener aufeinander abgestimmter und verschränkter (quantitativer und qualitativer) Methoden in einem Evaluationsvorhaben, auch im engeren Sinne eines Multimethoden-Forschungsansatzes- oder Mixed-Method-Designs. Der Beitrag gibt zudem eine kurze theoretische Einführung in das Thema multimethodischer bzw. Mixed-Method-Designs.