Skip to main content
Erschienen in:
Buchtitelbild

Open Access 2023 | OriginalPaper | Buchkapitel

Herausforderungen der aktuellen Evaluationspraxis in der Wissenschaftskommunikation in Deutschland

verfasst von : Ricarda Ziegler, Imke Hedder, Liliann Fischer

Erschienen in: Evaluationsmethoden der Wissenschaftskommunikation

Verlag: Springer Fachmedien Wiesbaden

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Zusammenfassung

Evaluationen bieten einen wichtigen Mehrwert für Wissenschaftskommunikation, denn anhand ihrer Ergebnisse lässt diese sich zukünftig zielorientiert und effektiv gestalten. Zur Zeit steht die Evaluation von Wissenschaftskommunikation in Deutschland allerdings noch vor Herausforderungen. So ergeben sich bereits vor Beginn der Evaluationen Probleme durch fehlende strategische Planung von Wissenschaftskommunikation. Darüber hinaus mangelt es bei Evaluationen oft an passenden Evaluationsdesigns und geeigneten Datenerhebungsmethoden. Zu guter Letzt erschwert das in der deutschen Wissenschaftskommunikationspraxis vorherrschende Bild von Evaluation einen kollektiven und konstruktiven Lernprozess für die Wissenschaftskommunikation. Diese Herausforderungen gilt es zu überwinden, damit Evaluation als kollektiver Reflexionsprozess zur konstruktiven Weiterentwicklung von Wissenschaftskommunikation beitragen kann.

1 Wie lässt sich die Evaluationspraxis in der Wissenschaftskommunikation beschreiben?

Gemeinsam mit Erkenntnissen aus der Forschung zu Wissenschaftskommunikation stellen Einblicke aus Evaluationen eine wichtige Grundlage für die Wissenschaftskommunikationspraxis dar. Basierend auf ihren Ergebnissen können Aussagen über die Effekte und Wirkungen von Wissenschaftskommunikation bei den erreichten Zielgruppen getroffen und Aktivitäten insgesamt strategisch und damit wirkungsvoll und ziel(gruppen)orientiert gestaltet werden (Pellegrini 2021; siehe auch van den Bogaert in diesem Band). Einerseits messen inzwischen auch viele in Deutschland Evaluationen in der Wissenschaftskommunikation eine größere Bedeutung bei (siehe bspw. BMBF 20191). Andererseits scheint der Weg zu einer aussagekräftigen Evaluationspraxis basierend auf methodisch sinnvoll gestalteten Evaluationsdesigns noch weit. Den aktuellen Status der Evaluationspraxis der Wissenschaftskommunikation2 in Deutschland und damit verbundene Herausforderungen schildern wir in diesem Beitrag.
Dem Spannungsverhältnis zwischen zunehmender Relevanz und mangelnder Qualität sowie Aussagekraft von Evaluationen scheint sich die Community der Praktiker:innen der Wissenschaftskommunikation durchaus bewusst: In einer Ende 2019 von Wissenschaft im Dialog (WiD) durchgeführten Online-Umfrage unter 109 deutschen Wissenschaftskommunikator:innen (im Folgenden Community-Befragung) stimmte zwar eine Mehrheit zu, dass Evaluationen in der Wissenschaftskommunikation wichtig (87 %) und deren Ergebnisse meist erkenntnisreich seien (58 %, n = 82, Impact Unit 2019, S. 28), es fühlten sich aber nur 37 % in der Lage, die Qualität von Evaluationen in der Wissenschaftskommunikation zu beurteilen. Bei der Einschätzung der eigenen Fähigkeiten zur Umsetzung guter Evaluationen ergibt sich ebenfalls ein geteiltes Bild (n = 82, ebd., S. 29).
Derartige Surveyergebnisse in Form von Selbsteinschätzungen der Praktiker:innen sind nur eine Möglichkeit, Informationen über die Evaluationspraxis in der Wissenschaftskommunikation zu erlangen. In Ermangelung einer systematischen, umfassenden Analyse der Arten und Weisen, wie Wissenschaftskommunikation in Deutschland evaluiert wird, zieht der folgende Beitrag verschiedene Datenquellen heran. Neben den Ergebnissen der Community-Befragung wird auf die Ergebnisse einer Analyse von 51 veröffentlichten Evaluationsberichten3 deutschsprachiger Wissenschaftskommunikationsprojekte zurückgegriffen. Diese Analyse wurde im Rahmen des BMBF-geförderten Projekts „Impact Unit – Wirkung und Evaluation in der Wissenschaftskommunikation“ im Jahr 2020 bei WiD durchgeführt und baut auf einer Stichwortrecherche öffentlich zugänglicher Evaluationsberichte aus den Jahren 2000 bis 2019 auf (Ziegler und Hedder 2020). Ergänzt wird dies durch die Ergebnisse verschiedener Diskussionsrunden und Workshops mit Stakeholder:innen der Wissenschaftskommunikationspraxis und -forschung sowie aus Wissenschaftsmanagement und -politik, die im Rahmen des Projekts Impact Unit in den Jahren 2020 und 2021 durchgeführt wurden.
Keine dieser Datenquellen erlaubt repräsentative Einblicke in die Evaluationspraxis der Wissenschaftskommunikation in Deutschland. Dies bedürfte eines sehr hohen Aufwands für die inzwischen stark ausdifferenzierte Branche der Wissenschaftskommunikation (Bonfadelli et al. 2017) und ihrer Evaluationen. Evaluationen werden nicht nur von Wissenschaftskommunikator:innen selbst durchgeführt, sondern finden auch in Form von wissenschaftlicher Begleitforschung oder als Auftragsvergaben an externe Evaluationsdienstleistende statt. Die in diesem Beitrag geschilderten Ausführungen, die sich besonders auf die von Wissenschaftskommunikator:innen gestalteten (Selbst-)Evaluationen beziehen, sind daher als Annäherung an die Evaluationspraxis zu verstehen und sollen einen Mehrwert durch die Zusammenführung der Ergebnisse und Erkenntnisse aus den verschiedenen vorliegenden Quellen liefern.4
Die in den nächsten Abschnitten geschilderten Herausforderungen bei der Durchführung von Evaluationen in der Wissenschaftskommunikation in Deutschland fügen sich dabei in bisherige Betrachtungen des Status Quo der internationalen Evaluationspraxis ein. So wird beispielsweise in der Forschung zu Wissenschaftskommunikation unter verschiedenen Bezeichnungen (z. B. strategic, effective, evidence-based, more quality) gefordert, Wissenschaftskommunikation stärker ziel- und wirkungsorientiert zu betreiben (Besley et al. 2019; Scheufele et al. 2021; Dudo und Besley 2016), über ihre Qualität zu reflektieren (Mannino et al. 2021; Olesk et al. 2021; Wicke 2021) und dafür Forschungserkenntnisse und Evaluationsergebnisse zu nutzen (Fischhoff 2019; National Academies of Sciences, Engineering, and Medicine 2017; Pellegrini 2021). Gleichzeitig wird auch erkannt, welche Herausforderungen in der Praxis die Umsetzung eines derartigen Ansatzes und einer damit aussagekräftigen Evaluationspraxis bisher erschweren (Jensen 2020; Jensen und Gerber 2020; Peterman et al. 2020). Jensen merkt bereits 2014 an, dass Evaluationen von Wissenschaftskommunikation oft auf Basis unzureichender oder unpassender Daten fragwürdige Schlussfolgerungen ziehen, während Fragen der Qualität und der Wirkung wenig betrachtet werden. Auch Weitkamp (2015) kritisiert die weit verbreitete Nutzung lediglich deskriptiver Daten bei gleichzeitig wirkungsbezogenen Evaluationsinteressen. King et al. (2015) attestieren, dass es an vielen Stellen an den notwendigen finanziellen und zeitlichen Ressourcen sowie den methodischen Kompetenzen der Praktiker:innen für Wirkungsmessungen und komplexe Evaluationsdesigns fehle. Außerdem wird darauf hingewiesen, dass klassische und häufig eingesetzte Datenerhebungsmethoden wie Papierfragebogen und standardisierte Interviews gerade für die Evaluation dynamischer, interaktiver und weniger formalisierter Wissenschaftskommunikationsformate (wie etwa Festivals) wenig geeignet sind (Grand und Sardo 2017, S. 5).

2 Herausforderungen für die Umsetzung von Evaluationen

Aus einer Gesamtschau der für Deutschland vorliegenden Daten und Eindrücke kristallisieren sich insbesondere drei übergreifende Herausforderungen für die Evaluation von Wissenschaftskommunikation heraus. (1) Es ergeben sich bereits vor Beginn der Evaluationen Probleme durch die fehlende strategische Planung von Wissenschaftskommunikation. (2) Es mangelt bei Evaluationen (insbesondere solchen, die Wirkungsaussagen treffen möchten) oft an passenden Evaluationsdesigns und geeigneten Datenerhebungsmethoden. (3) Das in der deutschen Wissenschaftskommunikationspraxis generell vorherrschende Bild von Evaluation erschwert einen kollektiven und konstruktiven Lernprozess für die Wissenschaftskommunikation.

2.1 Fehlendes strategisches Vorgehen in der Wissenschaftskommunikation

Klar formulierte Erwartungen an ein Projekt sind essentieller Bestandteil strategischer Projektplanung und bilden die Grundlage für aussagekräftige Evaluationen (Spicer 2017). Idealerweise werden zu Beginn eines Projekts sowohl die Ziele als auch die Zielgruppe des Projekts genau definiert, um anschließend ein möglichst passgenaues Format zu wählen (Besley et al. 2018), das Erfolg bei der Erreichung der Ziele und Zielgruppen verspricht. Evaluationen ermöglichen dann, diese Passgenauigkeit und die Erreichung von Zielen und Zielgruppen zu überprüfen. In der Praxis mangelt es jedoch an Genauigkeit bei jedem dieser Schritte (Phillips et al. 2018; Stilgoe et al. 2014).
Bei der Bestimmung von Zielen bietet die Forschung im Bereich strategischer Kommunikation eine wichtige Orientierung. Dort wird zwischen zwei verschiedenen Arten von Zielen unterschieden. Zum einen spricht die strategische Kommunikation von goals, so bezeichnet werden generelle Richtlinien oder abstrakte und übergeordnete Ziele, die nicht notwendigerweise reine Kommunikationsziele sein müssen (Hon 1998, S. 105). Zum anderen ist die Rede von objectives, definiert als konkrete Zielsetzungen der Kommunikation, die dazu geeignet sind, die formulierten goals zu erreichen (Hallahan 2015, S. 247). In der Praxis wird diese Unterscheidung zwischen goals und objectives jedoch häufig nicht vorgenommen und es ergeben sich Ungenauigkeiten in der Formulierung der Ziele. Aus der Analyse von Evaluationsberichten im deutschsprachigen Raum ergibt sich der Eindruck, dass Praktiker:innen geübt darin sind, visionsartige goals zu formulieren und ihre Projekte in einen größeren Rahmen einzuordnen (Ziegler und Hedder 2020, S. 16 ff.). In Gesprächsrunden mit den Praktiker:innen wurde weiterhin deutlich, dass die Schwierigkeit darin besteht, sich von der Ebene der Visionen wegzubewegen, konkrete objectives zu formulieren und diese mit messbaren Indikatoren zu hinterlegen. Symptomatisch dafür ist auch, dass in den analysierten Berichten häufig allgemeine und vage Zielformulierungen wie „ein Bewusstsein zu schaffen“ oder auch „zum Handeln anzuregen“ zu finden sind. Die Erreichung von derart formulierten Zielen lässt sich nur schwer tatsächlich überprüfen und ein solches Vorgehen verleitet dazu, das Augenmerk auf die Identifizierung irgendeines Effekts zu legen, anstatt die gewünschte Größe dieses Effekts vorab zu definieren und dann zu prüfen (Ziegler und Hedder 2020, S. 19 f.).
Auch bei der Beschreibung der Zielgruppen von Wissenschaftskommunikationsaktivitäten zeigen sich diese Tendenzen zu vagen und ungenauen Formulierungen. In den analysierten Berichten werden meist einfache soziodemographische Merkmale, wie Geschlecht und Alter, zur Zielgruppendefinition herangezogen und nur selten persönlichkeitsbezogene Eigenschaften wie (Vor-)Einstellungen gegenüber Wissenschaft und Forschung (Ziegler und Hedder 2020, S. 19). Zudem gibt beispielsweise nur ein Viertel der Befragten in der Community-Befragung an, den sozioökonomischen Hintergrund zur Zielgruppenbeschreibung zu nutzen (n = 96, Impact Unit 2019, S. 16), obgleich die Forschung zeigt, wie bedeutend dieser für Voreinstellungen zu Wissenschaft und Forschung und damit für das Wirkpotenzial von Wissenschaftskommunikation sein kann (Rutjens et al. 2018). Selbst wenn genauere Zielgruppenbeschreibungen genutzt werden, wird durch Formulierungen wie „hauptsächliche Zielgruppe“ (Ziegler und Hedder 2020, S. 19) wiederum der Raum für weitere, nicht genauer definierte Zielgruppen geöffnet. Typisch sind umfassende Bezeichnungen wie Schüler:innen oder die breite Öffentlichkeit, womit die Chance vergeben wird, eine generische Masse durch Untergruppen zu spezifizieren, die gezielter angesprochen werden könnten (Schäfer und Metag 2021, S. 300).
Darüber hinaus fällt auch die Entscheidung für ein bestimmtes Kommunikationsformat in der Praxis nicht immer basierend auf einer vorherigen Definition von Zielen und Zielgruppen. In der Community-Befragung geben nur 27 % der Befragten an, Formate anhand vorher definierter Ziele auszuwählen, während 73 % ihre Formatwahl darauf zurückführen, „dass jemand eine Idee hat oder ein bestimmtes Format ausprobiert werden soll“ (n = 94, Impact Unit 2019, S. 19).
Eine genaue Definition von Zielen und Zielgruppen ist unabdingbar für die informierte Wahl eines Formats, das erfolgsversprechend für die Erreichung der Ziele erscheint. Solch ein strategisches Vorgehen bildet wiederum auch die Grundlage für eine aussagekräftige Evaluation, die überprüfen kann, ob die gewünschte Zielgruppe erreicht wurde und ob das Format tatsächlich geeignet war, die gesteckten Ziele zu erreichen. Doch um solche Einsichten zu ermöglichen, muss auch die Evaluation selbst adäquat geplant werden.

2.2 Defizite bei der Wahl von Evaluationsdesign und -methoden

Bei näherer Betrachtung der analysierten Berichte wird aus den häufig summativen Evaluationsdesigns, den gestellten Evaluationsfragen und den erhobenen Daten deutlich, dass es den Praktiker:innen der Wissenschaftskommunikation oft um die Evaluation von Wirkungen und den Nachweis von Effekten geht (Ziegler und Hedder 2020). Zentral ist hierbei, dass es für die Feststellung einer möglichen Wirkung oder einer erhofften Veränderung zwangsläufig Vergleichswerte braucht. Schließlich kann keine Veränderung – weder eine positive noch eine negative – durch eine Momentaufnahme nachgewiesen werden.
In der Praxis sehen wir jedoch in einigen Fällen eine Diskrepanz zwischen dem Anspruch der Evaluation und der Eignung der gewählten Evaluationsdesigns und -methoden, diesem Anspruch auch gerecht zu werden. Deutlich wird dies, wenn man sich vor Augen führt, dass selbst unter den analysierten Evaluationsberichten ein Viertel der 28 Evaluationen, die nach eigenen Angaben Wirkungen erheben wollen, nur eine einmalige Datenerhebung durchführt (Ziegler und Hedder 2020, S. 24).
Um ein besseres Verständnis von der Wirkung einer Aktivität zu bekommen, wären stattdessen Designs geeignet, die Vorher-Nachher-Vergleiche durchführen oder Kontrollgruppen heranziehen. Während letztere weder in der Community-Befragung noch in den Evaluationsberichten häufig Erwähnung finden, werden in beiden Fällen immerhin von circa einem Drittel Vorher-Nachher-Vergleiche durchgeführt (Ziegler und Hedder 2020, S. 24; Impact Unit 2019, S. 22).
Das in der Praxis übliche Vorgehen, nur einmalig Daten zu erheben, führt gelegentlich dazu, dass die Einschätzung von Veränderungen den Teilnehmenden oder Besucher:innen selbst überlassen wird. So werden diese selbst oder in einigen Fällen auch Dritte (bspw. im Falle von Kindern, deren Eltern oder Lehrkräfte) gefragt, ob sie das Gefühl haben, die Aktivität hätte eine Veränderung ausgelöst. Damit werden die Evaluationsergebnisse von der unrealistischen Annahme abhängig gemacht, dass die Befragten sich an ihr vorheriges Wissen oder ihre vorherigen Einstellungen (im zweiten Fall, den inneren Zuständen anderer Personen) erinnern, diese reflektieren und sinnvoll mit einem späteren Zustand vergleichen können (Jensen und Laurie 2016, S. 158).
Dieses Vorgehen mag auf organisatorischer Ebene ressourcensparend vorkommen, hat allerdings auf inhaltlicher Ebene Folgen für die Aussagekraft der Evaluationsergebnisse. Denn das Einsparen von Erhebungen führt nicht nur zu fehlenden Vergleichspunkten, sondern auch zu blinden Flecken, was die Perspektiven auf die Aktivitäten angeht: Häufig wird in Evaluationen von Wissenschaftskommunikation nur eine Gruppe von Informationsträger:innen herangezogen – selten mehrere (Ziegler und Hedder 2020, S. 23). Auch befassen sich Evaluationen von Wissenschaftskommunikation in der Regel mit den Perspektiven von Teilnehmenden, meist Bürger:innen, kaum stehen projektinterne Gruppen im Fokus der Evaluation (Ziegler und Hedder 2020, S. 23).
All die genannten Punkte wirken sich negativ auf die Qualität von Evaluationen in der Wissenschaftskommunikation aus. Auch Praktiker:innen sehen diese durchaus kritisch. Nur 6 % von ihnen stimmen laut der Community-Befragung zu, dass Evaluationen in der Wissenschaftskommunikation meistens von guter Qualität sind. Ein Drittel hingegen verneint diese Aussage. Wie eingangs bereits erwähnt, ist mit 39 % der größte Anteil unentschieden und weitere 23 % machen keine Angabe (n = 82, Impact Unit 2019, S. 29). In den Diskussionsrunden mit Praktiker:innen wurde immer wieder deutlich, dass die kurzfristige Planung und Umsetzung von Evaluationen für viele dieser Problematiken ausschlaggebend sein könnte. So kann ein Mangel an Zeit dazu führen, dass bekannte und scheinbar einfach umsetzbare Evaluationsdesigns und Erhebungsmethoden gewählt werden, anstelle komplexerer, aber inhaltlich passenderer. Das zeichnet sich auch in der Community-Befragung ab, in der zwar 93 % die Aussagekraft einer Methode wichtig für die eigene Methodenwahl finden, aber immerhin 87 % angeben, dass eine leichte Plan- und Umsetzbarkeit der Methode für sie ebenfalls hohe Priorität einnimmt. 77 % geben weiterhin an, auch danach auszuwählen, ob eine Methode schnell umsetzbar ist (n = 75, Impact Unit 2019, S. 31).
Auch fehlende Kenntnis und Überforderung können zu Entscheidungen für ungeeignete Methoden beitragen. So stimmen nur 37 % in der Community-Befragung zu, dass sie sich in der Lage sehen, gute Evaluationen für Wissenschaftskommunikationsprojekte zu gestalten (n = 82, Impact Unit 2019, S. 29). Nur 38 % stimmen explizit nicht zu, dass sie es schwierig finden, Interessantes und Relevantes mithilfe von Evaluationen zu erfassen, sodass sich hier wie eingangs erwähnt ein geteiltes Bild ergibt.
Dabei bedarf es keinesfalls in jeder Evaluation komplexer Experimentalstudien oder kostenintensiver Vorher-Nachher-Befragungen. Auch einfach gestaltete deskriptive Evaluationen mit einmaliger Datenerhebung können wichtige Informationen und Einblicke in ein Projekt bieten und beispielsweise für Projekte mit kleineren Budgets, kürzeren Laufzeiten oder experimentellem Charakter angemessener sein als komplexe Erhebungsabfolgen. Wichtig ist aber, dass Evaluationen so geplant werden, dass das Design und die verwendeten Methoden auch tatsächlich dazu geeignet sind, die Evaluationsfragen zu beantworten. Wenn es nicht möglich ist, ein entsprechendes Evaluationsdesign umzusetzen, gewinnt die Evaluation durch die Anpassung ihrer Fragen mehr Aussagekraft als durch den Versuch, die ursprünglichen Fragen mit dafür ungeeigneten Methoden zu beantworten. Was Praktiker:innen dennoch immer wieder dazu verleiten mag, wirkungsorientierte Fragen zu stellen, könnte sich teilweise durch das vorherrschende Verständnis von Evaluation erklären.

2.3 Verständnis von Evaluation

Bei der Zusammenführung der Ergebnisse aus den für diesen Beitrag herangezogenen Analysen ergibt sich folgender vermeintlicher Widerspruch: Zwar geben in der Community-Befragung 36 % der Befragten an, dass ihre Projekte (fast) immer evaluiert werden und nur 6 % geben an, dass ihre Projekte nie evaluiert werden (n = 96, Impact Unit 2019, S. 21). Gleichzeitig wurden in der Stichwortsuche zum Zweck der Analyse von Evaluationsberichten aus 68 Stichwortkombinationen im Zeitraum von 2000 bis 2019 gerade einmal eine Gesamtzahl von 51 öffentlich zugänglichen Berichten aufgefunden, die 55 Evaluationen vorstellen. Es stellt sich also die Frage, warum scheinbar nur so wenige Evaluationen verfügbar sind und wie mit den anderen Evaluationen nach ihrem Abschluss verfahren wird.
Zwei Interpretationen bieten sich an: Zum einen ist es möglich, dass Praktiker:innen ihre Ergebnisse nicht veröffentlichen, weil sie diese für wenig relevant für Externe halten. Dafür spricht, dass in der Community-Befragung 79 % der Befragten zustimmen, dass ihre Ergebnisse vor allem dazu genutzt werden, im Team die Zusammenarbeit und mögliche Verbesserungen zu reflektieren. Als weitere Verwertungsmöglichkeit darüber hinaus wurde in der Community-Befragung die Weitergabe der Daten zu Forschungszwecken abgefragt – hier stimmen nur 18 % zu (n = 72, Impact Unit 2019, S. 26).
Zum anderen wurde in den Diskussionsrunden mit Praktiker:innen deutlich, dass Evaluationen von vielen als Instrumente zum Erfolgsnachweis oder sogar als Druckmittel verstanden werden. Dazu passt das folgende Muster in den veröffentlichten Berichten: 51 Evaluationen ließen sich mit Blick auf ihre Gestaltung und Funktion im Projekt als summative oder wirkungsorientierte Evaluationen beschreiben, sie zeigen sich also an den Endresultaten des Projekts interessiert. Lediglich 16 Evaluationen behandeln projektinterne Fragen und zeigen sich damit an den Projektprozessen interessiert5 (Ziegler und Hedder 2020, S. 21).
Evaluationen wurden in den Diskussionsrunden darüber hinaus immer wieder als langer Arm von Vorgesetzten oder Förderinstitutionen interpretiert, die zukünftige Finanzierung an Erfolge knüpfen. Auch für diese Vermutung finden sich einige Hinweise in der Community-Befragung. Die Hälfte der Befragten stimmt zu, dass Evaluationen manchmal dazu genutzt werden, um Erfolge zu belegen, obwohl dafür nicht die richtigen Daten vorliegen. 49 % stimmen zu, dass Evaluationen vor allem dazu dienen, die eigene Arbeit vor Anderen zu belegen. Demgegenüber stimmen nur 39 % zu, dass Evaluationsergebnisse in die Neu- und Weiterentwicklung von Projekten einfließen (n = 82, Impact Unit 2019, S. 30). So wäre es also durchaus möglich, dass Ergebnisse bewusst unter Verschluss gehalten werden, um Probleme oder ausbleibende Erfolge nicht öffentlich und das eigene Projekt damit angreifbar zu machen (Nothhaft und Stensson 2019).
Ein derartiges Verständnis von Evaluation scheint die Arbeitsrealität für Praktiker:innen der Wissenschaftskommunikation in Deutschland nachhaltig zu bestimmen. Evaluationen werden dabei aus verschiedenen Gründen angestoßen und ihre Ergebnisse sollen legitimerweise verschiedenen Zwecken dienen (siehe auch Niemann et al. in diesem Band; Volk in diesem Band) – was auch bedeuten kann, dass ihre Ergebnisse nicht in allen Fällen für die Öffentlichkeit bestimmt sind oder bestimmt sein können. Ergänzend ist auch anzuführen, dass beispielsweise externe Dienstleistende, die Evaluationen durchführen, häufig nicht die Entscheidung über die Ergebnisveröffentlichung treffen. Vielmehr endet deren Arbeit oftmals mit der Übergabe der Ergebnisse an die auftraggebende Person oder Einrichtung, welche die weitere Nutzung der Ergebnisse bestimmt.
Insgesamt ist eine Folge dieses Verständnisses aber, dass wichtige Erkenntnisse aus Evaluationen der weiteren Community von Praktiker:innen vorenthalten werden. So können Projekte nicht aus den Fehlern oder von den Erfolgsfaktoren Anderer lernen und Evaluation wird zu einem Schreckgespenst anstatt zu einem kollektiven und konstruktiven Lernprozess. Um Evaluation zu einem solchen Lernprozess zu machen, muss ein Umdenken stattfinden. Hoffentlich kann unter anderem dieser Band einen Beitrag dazu leisten und zu einer anderen Evaluationspraxis der Zukunft beitragen.

3 Ausblick

In der zukünftigen Praxis der Wissenschaftskommunikation sollten Evaluationen als konstruktive, kollektive Lernprozesse verstanden werden, von denen Wissenschaftskommunikation insgesamt, und damit letztendlich auch die Gesellschaft, profitieren kann. Wissenschaftskommunikation ist divers – in ihren Formaten, Kanälen und auch Akteur:innen. Das Ziel von Evaluationen kann es daher nicht sein, one-size-fits-all-Indikatoren zu entwickeln, die ohne Berücksichtigung der konkreten Umstände der Kommunikation zur unreflektierten Erfolgsmessung und -dokumentation verwendet werden. Stattdessen müssen Evaluationen dieser Verschiedenheit Rechnung tragen und durch diverse Methoden und einen kritischen Reflexionsprozess Einblicke und Schlussfolgerungen für eine Bandbreite an Ansätzen zulassen. Hier kann dieser Band einen wichtigen Anstoß und Einblicke in die diversen Möglichkeiten zu deren Umsetzung geben. Inspiration geben auch Bestrebungen zur Professionalisierung von Evaluationen in anderen Bereichen6, die sich auf die zukünftige Entwicklung der Wissenschaftskommunikation übertragen lassen.
So verstanden und praktiziert können Evaluationen auch über den einzelnen Lernprozess für konkrete Aktivitäten und Projekte hinaus einen entscheidenden Beitrag leisten. Evaluationen können unter anderem eine wichtige Basis für Diskussionen über die Qualität von Wissenschaftskommunikation bilden. Zum einen erheben sie wichtige Primärdaten. Zum anderen erlauben sie eine Prüfung genereller Ideen und Vorstellungen unter realen Bedingungen. So können strategische Ziele der Wissenschaftskommunikation stärker mit der Wissenschaftskommunikationspraxis abgestimmt werden, was realistische, für die Praxis erreichbare Zielformulierungen erleichtert. Wenn dieser Raum der realistischen Möglichkeiten abgesteckt ist, kann auch eine konstruktive und normative Diskussion über Wissenschaftskommunikation geführt werden. Größere Klarheit darüber, was Wissenschaftskommunikation wirklich erreichen kann, stellt die Diskussion darüber, was sie erreichen soll, auf eine solide Basis.
Aussagekräftige Evaluationen sind nicht nur für die Wissenschaftskommunikationspraxis wichtig, sondern leisten auch einen Beitrag dazu, dass Fördergelder sinnvoll und zielgerichtet eingesetzt werden. Dabei geht es nicht um die bloße Messung von Erfolgen, sondern ganz entscheidend auch darum, dass Ziele von fördernden Institutionen klar und realistisch formuliert werden, sodass Projekte danach ausgerichtet werden können.
Daraus ergeben sich wiederum umfassende Möglichkeiten für die Praxis. Eine strategische Planung von Wissenschaftskommunikation, wie wir sie in diesem Beitrag entworfen haben, ist informierter möglich, wenn Praktiker:innen eine Grundlage zur Einschätzung haben, welche Ziele und Zielgruppen in der Wissenschaftskommunikation (leichter oder schwieriger) erreichbar und welche Formate in der Praxis tatsächlich geeignet sind. Damit nicht jedes Projekt diesen Lernprozess aufs Neue durchlaufen muss, ist umso entscheidender, dass Evaluationen als kollektive Reflexionsprozesse der gesamten Community verstanden werden. So erlauben es Evaluationen, Projekte weiterzuentwickeln und zu verbessern, und sind neben der Forschung zu Wissenschaftskommunikation eine weitere wichtige Informationsquelle, um Wissenschaftskommunikation zu verstehen und zu verbessern.
Gleichzeitig dürfen Evaluationen nicht dazu verleiten, Wissenschaftskommunikation immer mehr auf wenige bewährte Formate zu verengen. Ganz im Gegenteil, Evaluationen sollen den Raum für Kreativität und Experimentierfreude in der Wissenschaftskommunikation öffnen. Wenn neue Formate systematisch getestet und durch sorgfältige Evaluationen begleitet werden, können sie den Kanon geeigneter Formate stetig erweitern und das Instrumentarium der Wissenschaftskommunikation konstruktiv ergänzen.
Open Access Dieses Kapitel wird unter der Creative Commons Namensnennung 4.0 International Lizenz (http://​creativecommons.​org/​licenses/​by/​4.​0/​deed.​de) veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Kapitel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
Fußnoten
1
Auch die Veröffentlichung dieses Bands unter Mitwirkung einer großen Bandbreite verschiedener Forschender und Praktiker:innen verdeutlicht dies.
 
2
Hierbei wird unter Wissenschaftskommunikation in diesem Beitrag die externe Wissenschaftskommunikation verstanden (vgl. Schäfer et al. 2015) und der Fokus der in diesem Beitrag präsentierten Analysen bezieht sich auf die institutionelle oder eigenvermittelte Wissenschaftskommunikation – also die Wissenschaftskommunikation aus dem Wissenschaftssystem heraus an außerwissenschaftliche Öffentlichkeiten, beispielsweise durch Universitäten oder Forschungsinstitute. Dies geschieht, um den Analysegegenstand einzugrenzen und um möglichst präzise Aussagen zuzulassen, und soll keineswegs die gesellschaftliche Bedeutung von Wissenschaftskommunikation in anderen sozialen Kontexten (zum Beispiel den Wissenschaftsjournalismus) geringschätzen.
 
3
Insgesamt lagen 51 Dokumente zur näheren Untersuchung vor, in denen 55 evaluierte Projekte beschrieben werden. Sofern nicht explizit vermerkt, bezieht sich die Analyse im Folgenden auf jene Projekte und damit auf 55 Fälle.
 
4
Eine Zusammenführung der Ergebnisse mit Fokus auf einer internationalen Kontextualisierung haben die Autorinnen bereits im Journal „Frontiers in Communication – Science and Environmental Communication“ veröffentlicht (Ziegler et al. 2021).
 
5
Evaluationen mit mehreren Erkenntnisinteressen und Evaluationsfragen können natürlich sowohl prozessorientierte als auch wirkungsorientierte Anteile mitbringen. Aus diesem Grund übersteigt die Zahl der prozessorientierten und wirkungsorientierten Evaluationen die Gesamtzahl der analysierten Evaluationen.
 
6
Beispielhaft zu nennen ist hier der Arbeitskreis Professionalisierung der DeGEval – Gesellschaft für Evaluation e. V.
 
Literatur
Zurück zum Zitat Bonfadelli H, Fähnrich B, Lüthje C, Milde J, Rhomberg M, Schäfer MS (2017) Das Forschungsfeld Wissenschaftskommunikation. In: Bonfadelli H, Fähnrich B, Lüthje C, Milde J, Rhomberg M, Schäfer M (Hrsg) Forschungsfeld Wissenschaftskommunikation. Springer VS, Wiesbaden. https://doi.org/10.1007/978-3-658-12898-2_1 Bonfadelli H, Fähnrich B, Lüthje C, Milde J, Rhomberg M, Schäfer MS (2017) Das Forschungsfeld Wissenschaftskommunikation. In: Bonfadelli H, Fähnrich B, Lüthje C, Milde J, Rhomberg M, Schäfer M (Hrsg) Forschungsfeld Wissenschaftskommunikation. Springer VS, Wiesbaden. https://​doi.​org/​10.​1007/​978-3-658-12898-2_​1
Zurück zum Zitat Hallahan K (2015) Organizational goals and communication objectives in strategic communication. In: Holtzhausen D, Zerfass A (Hrsg) The Routledge Handbook of Strategic Communication, 1. Aufl. Routledge, London, S 244–266 Hallahan K (2015) Organizational goals and communication objectives in strategic communication. In: Holtzhausen D, Zerfass A (Hrsg) The Routledge Handbook of Strategic Communication, 1. Aufl. Routledge, London, S 244–266
Zurück zum Zitat Jensen EA (2020) Why impact evaluation matters in science communication: or, advancing the science of science communication. In: Weingart P, Joubert M, Bankole F (Hrsg) Science communication in South Africa. African Minds, Kapstadt. https://doi.org/10.5281/zenodo.3557213 Jensen EA (2020) Why impact evaluation matters in science communication: or, advancing the science of science communication. In: Weingart P, Joubert M, Bankole F (Hrsg) Science communication in South Africa. African Minds, Kapstadt. https://​doi.​org/​10.​5281/​zenodo.​3557213
Zurück zum Zitat Jensen EA, Laurie C (2016) Doing real research: a practical guide to social research. SAGE, London Jensen EA, Laurie C (2016) Doing real research: a practical guide to social research. SAGE, London
Zurück zum Zitat Mannino I, Bell L, Costa E, Di Rosa M, Fornetti A, Franks S, Iasillo C, Maiden N, Olesk A, Pasotti J, Renser B, Roche J, Schofield B, Villa R, Zollo F (2021) Supporting quality in science communication: insights from the QUEST project. JCOM 20(03):A07. https://doi.org/10.22323/2.20030207 Mannino I, Bell L, Costa E, Di Rosa M, Fornetti A, Franks S, Iasillo C, Maiden N, Olesk A, Pasotti J, Renser B, Roche J, Schofield B, Villa R, Zollo F (2021) Supporting quality in science communication: insights from the QUEST project. JCOM 20(03):A07. https://​doi.​org/​10.​22323/​2.​20030207
Zurück zum Zitat Pellegrini G (2021) Evaluating science communication. In: Bucchi M, Trench B (Hrsg) Routledge handbook of public communication of science and technology. Routledge, Abington Pellegrini G (2021) Evaluating science communication. In: Bucchi M, Trench B (Hrsg) Routledge handbook of public communication of science and technology. Routledge, Abington
Zurück zum Zitat Phillips T, Porticella N, Constas M, Bonney R (2018) A framework for articulating and measuring individual learning outcomes from participation in citizen science. Citizen Sci Theory Pract 3(2):1–19. https://doi.org/10.5334/cstp.126 Phillips T, Porticella N, Constas M, Bonney R (2018) A framework for articulating and measuring individual learning outcomes from participation in citizen science. Citizen Sci Theory Pract 3(2):1–19. https://​doi.​org/​10.​5334/​cstp.​126
Zurück zum Zitat Schäfer MS, Metag J (2021) Audiences of science communication between pluralization, fragmentation and polarization. In: Bucchi M, Trench B (Hrsg) Handbook of public communication of science and technology. Routledge, London, S 291–304 Schäfer MS, Metag J (2021) Audiences of science communication between pluralization, fragmentation and polarization. In: Bucchi M, Trench B (Hrsg) Handbook of public communication of science and technology. Routledge, London, S 291–304
Zurück zum Zitat Schäfer MS, Kristiansen S, Bonfadelli H (2015) Wissenschaftskommunikation im Wandel: Relevanz, Entwicklung und Herausforderungen des Forschungsfeldes. In: Bonfadelli H, Schäfer MS, Kristiansen S (Hrsg) Wissenschaftskommunikation im Wandel. Herbert von Halem Verlag, Köln, S 10–42 Schäfer MS, Kristiansen S, Bonfadelli H (2015) Wissenschaftskommunikation im Wandel: Relevanz, Entwicklung und Herausforderungen des Forschungsfeldes. In: Bonfadelli H, Schäfer MS, Kristiansen S (Hrsg) Wissenschaftskommunikation im Wandel. Herbert von Halem Verlag, Köln, S 10–42
Metadaten
Titel
Herausforderungen der aktuellen Evaluationspraxis in der Wissenschaftskommunikation in Deutschland
verfasst von
Ricarda Ziegler
Imke Hedder
Liliann Fischer
Copyright-Jahr
2023
DOI
https://doi.org/10.1007/978-3-658-39582-7_2