Praxisbeitrag: Nutzungsdatenanalyse digitaler Medien in der evaluativen Wissenschaftskommunikationsforschung am Beispiel eines Bürgerwissenschaftsprojekts

In Bürgerwissenschaftsprojekten arbeiten engagierte Bürger:innen zusammen mit professionell arbeitenden Wissenschaftler:innen in wissenschaftlichen Projekten (Heigl et al. 2019). Häufig sammeln oder verarbeiten Bürger:innen in solchen Projekten vor allem Daten für Wissenschaftler:innen. Es gibt allerdings auch Ansätze, in denen Bürger:innen und Wissenschaftler:innen gemeinsam wissenschaftliches Wissen generieren und auch jeweils ihr eigenes Wissen über (Natur-)Wissenschaften weiterentwickeln (Bonney et al. 2016). Damit folgen diese Projekte einem Paradigmenwechsel in der Wissenschaftskommunikation von einer unidirektionalen Kommunikation über Wissenschaft, die sich gemäß dem Defizitmodell ausschließlich von Wissenschaftler:innen an das Laienpublikum richtet, zu einer partizipativen Form von Kommunikation über Wissenschaft, bei welcher der multidirektionale Austausch im Vordergrund steht (Trench 2008). Wenn sie einen multidirektionalen Austausch von Wissen zwischen Bürger:innen und Wissenschaftler:innen ermöglichen, können Bürgerwissenschaftsprojekte als partizipative Form von Wissenschaftskommunikation verstanden werden (Wagenknecht et al. 2021).

Der Mehrwert dieser partizipativen Form wurde aus einer normativen Perspektive auch als „Leiter“ beschrieben (Arnstein 1969), auf der Bürger:innen zu weitestgehender Beteiligung aufsteigen sollten. In der Folge wurden Modelle zur Beteiligung von Bürger:innen an wissenschaftlichen Projekten aufgestellt, die zwischen den Angeboten zur Beteiligung und der tatsächlichen Beteiligung unterscheiden (Shirk et al. 2012; für eine Erweiterung siehe Bruckermann et al. 2020). Des Weiteren wurden die Projekte je nach Möglichkeit zur Beteiligung der Bürger:innen in verschiedene Projektkategorien eingeteilt (vgl. Haklay 2018, für eine Übersicht). Beispielsweise haben Bürger:innen in contributory projects alleinig die Möglichkeit zur Datensammlung, während sie in collaborative projects die Möglichkeit zur Datensammlung und Datenaufbereitung sowie zur Datenanalyse haben (Shirk et al. 2012). Dementsprechend kann die Beteiligung von Bürger:innen anhand der Nutzung dieser Möglichkeiten zur Beteiligung in den unterschiedlichen Aktivitäten qualifiziert werden (für eine Typologie siehe Wiggins und Crowston 2012). Bei dieser qualitativen Beschreibung der Beteiligung wird angenommen, dass Bürger:innen umso mehr aus einem Bürgerwissenschaftsprojekt mitnehmen, wenn sie in kognitiv anspruchsvollere Aufgaben eingebunden werden (Shirk et al. 2012). Neben der qualitativen Beschreibung der Beteiligung kann die Beteiligung auch auf quantitative Art und Weise beschrieben werden. Eine solche Beschreibung folgt der Annahme, dass Bürger:innen desto mehr aus den Projekten lernen, je häufiger sie sich an einem Projekt beteiligen.

Seit dem Christmas Bird Count zu Anfang des 20. Jahrhunderts haben sich Bürgerwissenschaftsprojekte durch die Verfügbarkeit digitaler Technologien verändert (Preece 2016). Nicht nur wissenschaftliche Daten können in größerem Maße gesammelt (z. B. iSpot; Silvertown et al. 2015), auch Projekte können einfacher über Internetplattformen initiiert werden (z. B. nQuire-it; Aristeidou et al. 2017). Des Weiteren können Bürger:innen räumlich unabhängig an Bürgerwissenschaftsprojekten auf Internetplattformen teilnehmen (Preece 2016) und haben Werkzeuge zur Verfügung, mit denen sie Daten auswerten und die Ergebnisse diskutieren können (Bonney et al. 2014). Durch die Online-Beteiligung von Bürger:innen können deren Nutzungsdaten auf der Internetplattform (nach Zustimmung) erfasst und analysiert werden. Beispielsweise werteten einige Projekte aus, wie intensiv die Kommunikation und Kollaboration zwischen Bürger:innen und Wissenschaftler:innen ausfiel (z. B. Cox et al. 2015), ob sich gewisse Gruppen von Bürger:innen aus Beteiligungsprofilen identifizieren ließen (z. B. Aristeidou et al. 2017) und wie die Beteiligung mit bestimmten Eigenschaften der Bürger:innen zusammenhing (vgl. Aristeidou und Herodotou 2020, für eine Übersicht).

Die Auswertung von Nutzungsdaten folgt den Zielen des Bürgerwissenschaftsprojekts. Vorrangig an wissenschaftlichen Zielen orientierte Projekte, die Kommunikation über Wissenschaft nachrangig betrachten, nehmen in der Nutzungsdatenanalyse häufig eine quantitative Sicht auf die Beteiligung von Bürger:innen ein. Beispielsweise erfassen solche Projekte die Beteiligung als Zeiteinheiten, in denen Bürger:innen in einem Projekt mitarbeiten, oder als Produkte, welche Bürger:innen im Projekt erarbeiten (d. h. Anzahl der Tage im Projekt und Anzahl der Klassifikationen bezogen auf z. B. Galaxien oder Pinguine; Masters et al. 2016). Wenn Bürgerwissenschaftsprojekte neben ihren wissenschaftlichen Zielen vorrangig den Dialog und die Partizipation von Bürger:innen verfolgen, indem sie Angebote zur Beteiligung an Aktivitäten über die Datensammlung hinaus machen, sollten diese Projekte neben der Quantität auch die Qualität der Beteiligung in den Blick nehmen. Aus qualitativer Sicht werden in Nutzungsdatenanalysen die verschiedenen Aktivitäten berücksichtigt, an denen sich Bürger:innen beteiligen können.

In Nutzungsdatenanalysen von Online-Bürgerwissenschaftsprojekten können die Häufigkeit (Quantität) und die Art (Qualität) der Beteiligung außerdem durch eine Unterscheidung von aktiver und passiver Beteiligung abgebildet werden (vgl. Malinen 2015, für einen Überblick). Bürger:innen, die sich aktiv beteiligen, tragen zum Projektziel bei, indem sie Daten beisteuern und auswerten sowie im Forum diskutieren. Passiv beteiligte Bürger:innen zeichnen sich hingegen durch eine beobachtende Haltung ohne eigene Beiträge auf der Internetplattform aus, was auch als Stöbern bezeichnet wird (Malinen 2015). Nutzungsdatenanalysen sollten nicht nur passiv Beteiligte identifizieren, sondern auch bei der Suche nach Gründen für die passive Beteiligung helfen, sodass passiv Beteiligte zu einer aktiven Beteiligung motiviert werden könnten (Eveleigh et al. 2014).

Im folgenden Anwendungsbeispiel wurden die Nutzungsdaten in einem Bürgerwissenschaftsprojekt zu Wildtieren von den teilnehmenden Bürger:innen erfasst und analysiert. Dieses Projekt wird ebenfalls aufgegriffen im Beitrag zu experimentellen Herangehensweisen (siehe Greving et al. in diesem Band). Das Ziel des Bürgerwissenschaftsprojekts Wildtierforscher in Berlin war es aus wissenschaftlicher Sicht, die Ökologie und das Vorkommen von in Berlin lebenden terrestrischen Säugetieren zu untersuchen. Außerdem beschäftige sich das Projekt mit der Frage, was Bürger:innen durch die Teilnahme an diesem Bürgerwissenschaftsprojekt lernen (Bruckermann et al. 2021). Der Annahme folgend, dass Teilnehmende mehr aus Bürgerwissenschaftsprojekten mitnehmen, wenn sie sich an möglichst vielen Aktivitäten des Forschungsprozesses beteiligen (Bonney et al. 2009), bot dieses Projekt nicht nur die Möglichkeit, dass Teilnehmende Daten sammeln, sondern darüber hinaus Daten auch statistisch auswerten und ihre Ergebnisse mit anderen Teilnehmenden und Wissenschaftler:innen diskutieren konnten.

Durch die Nutzungsdatenanalyse sollte die Forschungsfrage geklärt werden, ob sich die Teilnehmenden an der Datenauswertung in einem ähnlichen Umfang beteiligen wie an der Datensammlung. Auch wenn davon ausgegangen wird, dass Teilnehmende mehr lernen und somit beispielsweise mehr Wissen mitnehmen, wenn sie sich an anspruchsvolleren Tätigkeiten im Projekt beteiligen (Bonney et al. 2009), sind nicht alle Teilnehmenden auch motiviert, sich in anspruchsvollere Tätigkeiten wie der Datenanalyse einzubringen (Phillips et al. 2019). Der durch Befragungen zur Motivation von Teilnehmenden festgestellte Befund vorheriger Studien (Phillips et al. 2019) wurde bisher noch nicht durch Verhaltensdaten untermauert, die klar zeigen, dass Teilnehmende sich nicht an der Datenanalyse beteiligen, wenn ihnen die Möglichkeit angeboten wird. Die Nutzungsdatenanalyse eignet sich, um das Verhalten von Teilnehmenden im Bürgerwissenschaftsprojekt zu beschreiben, da sowohl die Häufigkeit (Quantität) als auch die Art der Aktivitäten im Projekt (Qualität) beschrieben werden kann.

Das Bürgerwissenschaftsprojekt umfasste insgesamt fünf Durchgänge von saisonalen Feldphasen (im Frühjahr und Herbst) zwischen 2018 und 2020, die jeweils in etwa zwei Monate dauerten. Bis zu 200 Bürger:innen aus Berlin beteiligten sich pro Feldphase an dem Projekt. Für die Zeit ihrer Teilnahme erhielten sie leihweise eine sogenannte Kamerafalle, die in der Lage ist, tagsüber und auch nachts Fotos von Wildtieren aufzunehmen. Während der Datensammlung stellten die Teilnehmenden diese Kamerafallen im eigenen Garten auf, um zu überprüfen, wie häufig in Berlin lebende terrestrische Säugetierarten in einem gewissen Zeitraum gesichtet werden können.

Alle weiteren Aktivitäten im Projekt fanden online auf einer eigens für dieses Projekt entwickelten Internetplattform statt, die einen nur für Teilnehmende zugänglichen Login-Bereich hatte. Während der Datensammlung mit der Kamerafalle konnten die Teilnehmenden auf der Plattform ein Tutorial absolvieren, das ihnen erklärte, wie die Wildtiere auf den Fotos der Kamerafalle zu bestimmen sind. Außerdem konnten sie die Fotos ihrer Kamerafalle auf die Plattform hochladen und die Tierarten auf den eigenen Fotos sowie auf Fotos anderer Teilnehmenden bestimmen, um deren jeweilige Bestimmung zu validieren. Nach der Datensammlung konnten die Teilnehmenden während der Datenauswertung die eigenen erfassten Daten oder den gesamten Datensatz aller teilnehmenden Bürger:innen auswerten und beispielsweise analysieren, welche Umweltvariablen (wie z. B. Versiegelungsgrad und Baumbedeckung) das Vorkommen verschiedener Säugetierarten beeinflussen. Weiterhin konnten sie ihre Ergebnisse und Fragen mit anderen Teilnehmenden und den beteiligten Wissenschaftler:innen im Forum diskutieren. Während des gesamten Projekts konnten sich die Teilnehmenden über die in Berlin vorkommenden Wildtiere sowie über die Stadt als Lebensraum für Wildtiere informieren.

Um die Beteiligung der Bürger:innen zu evaluieren, wurden Nutzungsdaten auf der Internetplattform des Projekts erhoben. Die Nutzungsdaten wurden mit der freien Open-Source-Anwendung Matomo (v3.9.1) erhoben. Mit dieser Anwendung wurde für jede teilnehmende Person genau erfasst, an welchen Tagen die Person eingeloggt war, wie lange sie dann auf welcher Seite der Plattform war und ob sie gegebenenfalls zusätzlich noch eine Aktion durchgeführt hat. Anhand dieser erfassten Daten wurden die Tage anhand der aus bisheriger Forschung bekannten Unterscheidung auf Internetplattformen in Tage aktiver und passiver Beteiligung eingeteilt (Malinen 2015). An sogenannten aktiven Tagen führten die Teilnehmenden mindestens eine Aktion auf der Plattform aus. Das heißt sie luden beispielsweise Fotos hoch, absolvierten das Tutorial, identifizierten oder validierten die Tierarten auf den Fotos, analysierten Daten oder posteten eine Frage, einen Kommentar oder ihre Ergebnisse im Forum. An passiven Tagen führten die Teilnehmenden keine dieser Aktionen durch, sondern durchstöberten stattdessen die Inhalte der Plattform. Das heißt, sie schauten sich ihre eigenen Fotos oder die der anderen Teilnehmenden an, lasen die Beiträge im Forum oder beschäftigten sich mit den Informationen zu den Wildtieren und deren städtischem Lebensraum auf der Plattform. Summiert man die Tage ohne Login und die passiven Tage zwischen zwei aktiven Tagen, ergibt sich die Anzahl der Tage zwischen zwei aktiven Tagen. Die Differenz zwischen dem ersten und dem letzten Tag des Logins definierte die gesamten Tage, an denen eine teilnehmende Person mit dem Projekt verbunden war. Abschließend ergaben die Tage zwischen dem ersten Tag des Logins und dem Tag, an dem das Projekt endete, die potenziellen Tage, an denen eine teilnehmende Person mit dem Projekt verbunden sein konnte.

Für eine quantitative Betrachtung der Beteiligung wurden nun anhand der Einteilung in passive sowie aktive Tage und auf Basis von früheren Studien (Aristeidou et al. 2017; Ponciano und Brasileiro 2014) aus den Nutzungsdaten Kennzahlen berechnet. Um diese Kennzahlen für die Teilnehmenden berechnen zu können, mussten diese mindestens zwei Tage lang auf der Plattform aktiv gewesen sein. Die Kennzahlen ergaben sich wie folgt. Der Aktivitätsquotient beschrieb das Verhältnis von aktiven Tagen zu den gesamten Tagen, die eine teilnehmende Person mit dem Projekt verbunden war. Der Stöberquotient beschrieb das Verhältnis zwischen den passiven Tagen und den potenziellen Tagen, an denen eine teilnehmende Person mit dem Projekt verbunden sein konnte. Die an aktiven Tagen aufgewendete Zeit beschrieb die Anzahl der Stunden, die eine teilnehmende Person an aktiven Tagen für ihren Beitrag aufgebracht hatte. Die Regelmäßigkeit der aktiven Beteiligung wurde bestimmt, indem die Standardabweichung der Anzahl der Tage zwischen allen aufeinanderfolgenden aktiven Tagen berechnet wurde. Schlussendlich ergab sich die relative Dauer der Beteiligung im Projekt aus dem Verhältnis zwischen den Gesamttagen und den potenziellen Tagen einer teilnehmenden Person im Projekt. Zur Beantwortung der Fragestellung im Projekt war zusätzlich eine qualitative Betrachtung der Beteiligung notwendig, indem die in den Nutzungsdaten erfassten Aktivitäten auf der Internetplattform entsprechend der Typologie (Wiggins und Crowston 2012) entweder der Datensammlung (Bilder hochladen, bestimmen und validieren; Tutorial zur Bildbestimmung ansehen) oder der Datenauswertung (statistische Auswertungen durchführen; Ergebnisse im Forum hochladen und diskutieren) zugeordnet wurden. Deshalb wurden die quantitativen Kennzahlen auch qualitativ für jede teilnehmende Person getrennt für die Datensammlung und die Datenauswertung berechnet.

Bei der Analyse zeigten sich anhand der berechneten Kennzahlen abweichende Beteiligungsmuster. Der mittlere Aktivitätsquotient war während der Datensammlung höher als während der Datenauswertung. Gleichzeitig war der Stöberquotient im Durchschnitt während der Datensammlung niedriger als während der Datenauswertung. Ein ähnliches Muster zeigte sich für die an aktiven Tagen aufgewendete Zeit insofern, dass Teilnehmende während der Datensammlung im Mittel mehr Zeit mit Aktivitäten verbrachten als während der Datenauswertung. Außerdem beteiligten sich die Teilnehmenden an der Datensammlung regelmäßiger als an der Datenauswertung und von der relativen Dauer her blieben sie bei der Datensammlung auch länger dabei als bei der Datenauswertung. Zusammengenommen deuteten die Kennzahlen darauf hin, dass Teilnehmende sich an der Datensammlung aktiver beteiligten, mehr Zeit aufwandten und sich über einen längeren Zeitraum einbrachten als an der Datenauswertung. Diese Befunde stützen die Ergebnisse vorheriger Forschung zu den Motiven von Projektteilnehmenden, die sich eher an der Sammlung von Daten beteiligen wollten (Phillips et al. 2019), indem sie diese Ergebnisse aus Fragebogendaten um konkrete Verhaltensdaten von Teilnehmenden aus einer Nutzungsdatenanalyse erweitern (Bruckermann et al. 2022).

Weitere Vorteile einer qualitativen Betrachtung von Nutzungsdaten gegenüber einer rein quantitativen Betrachtung zeigen sich in folgendem Vergleich mit einem anderen Bürgerwissenschaftsprojekt. Im Vergleich zum Projekt Weather-it, in dem die Teilnehmenden Wetterdaten sammelten und teilten (Aristeidou et al. 2017), zeigte sich, dass Teilnehmende im Projekt Wildtierforscher in Berlin im Mittel weniger aktiv waren (d. h. einen geringeren Aktivitätsquotient hatten), aber nur, wenn die Feldphasen nicht nach Datensammlung und Datenauswertung differenziert betrachtet wurden. Wenn allerdings die Kennzahlen während der Datensammlung und Datenauswertung getrennt betrachtet wurden, war während der Datensammlung im Projekt Wildtierforscher in Berlin der Aktivitätsquotient vergleichbar zum Aktivitätsquotienten im Projekt Weather-it (Bruckermann et al. 2022). Dieser Unterschied verdeutlicht, dass eine rein quantitative Sicht auf Nutzungsdaten nicht ausreichend ist und die bloße Evaluation anhand von Tagen mit Seitenaufrufen und Verweildauern nicht ausreicht. Vielmehr müssen Nutzungsdaten qualitativ, beispielsweise entlang einer Typologie (Wiggins und Crowston 2012), differenziert werden, insbesondere wenn vorher Annahmen zur Beteiligung getroffen wurden (Bonney et al. 2009). In der Praxis kann sich eine Nutzungsdatenanalyse zur Projektevaluation in der Wissenschaftskommunikation einerseits auf quantitative Kennzahlen, wie beispielsweise die aufgewendete Zeit, stützen, die relativ vergleichbar zwischen unterschiedlichen Projekten ist (siehe Vergleich mit Weather-it). Andererseits sollten unbedingt auch die Eigenschaften der jeweiligen Projekte in der Nutzungsdatenanalyse für eine qualitative Betrachtung berücksichtigt werden. Daher empfiehlt sich für die Praxis, die Eigenschaften des eigenen Projektes in der Analyse zu berücksichtigen und zu anderen Projekten anhand einer Typologie (z. B. Typologie von Projektaktivitäten in Bürgerwissenschaftsprojekten; Wiggins und Crowston 2012) in ein Verhältnis zu setzen.

Die Nutzungsdatenanalyse bringt allerdings auch Limitationen mit sich. Diese liegen in der Beschränkung auf erfassbares Verhalten und der Fülle und deskriptiven Natur verfügbarer Daten. Insbesondere das Verhalten passiv beteiligter Personen ist schwierig zu erfassen, da es nicht durch Beiträge auf der Internetplattform sichtbar wird (Malinen 2015). Andererseits werden in Nutzungsdaten eine Fülle an Informationen über das Verhalten der Teilnehmenden auf der Internetplattform erfasst, die zunächst aufbereitet und dann interpretiert werden müssen. Um in Online-Bürgerwissenschaftsprojekten das Verhalten von Teilnehmenden aus Nutzungsdaten im Speziellen abzubilden (Aristeidou et al. 2017), kann beispielsweise auf die theoretischen Rahmungen vorheriger Arbeiten zu Online-Communities im Internet im Allgemeinen zurückgegriffen werden (Malinen 2015). Die deskriptive Natur von Nutzungsdaten bedingt, dass diese zunächst einmal nur das Verhalten der Teilnehmenden auf der Interplattform abbilden. Sie erklären aber noch nicht, warum Teilnehmende während der Datensammlung aktiver waren als während der Datenauswertung. Deshalb scheint eine Kombination von Nutzungsdaten mit weiteren, beispielsweise aus Fragebögen gewonnen Daten, der Evaluation zuträglich, wenn Schlussfolgerungen gezogen werden sollen.

Aus Nutzungsdatenanalysen gewonnene Erkenntnisse über das Verhalten von Teilnehmenden auf der Internetplattform ermöglichen Rückschlüsse auf die Nutzung von Angeboten in Bürgerwissenschaftsprojekten (MODEL-CS; Bruckermann et al. 2020, 2022). Für die Praxis ist eine Unterscheidung zwischen den Angeboten einer Internetplattform und ihrer Nutzung, zu der die Nutzungsdatenanalyse Erkenntnisse liefern kann, zentral, wenn es um die Erklärung geht, weshalb gewisse Formate der Wissenschaftskommunikation Effekte beispielsweise auf das Wissen haben. Aus den Ergebnissen ergeben sich deshalb weitere Fragen für die Projektevaluation, die sowohl die Förderung von Beteiligung als auch Lerneffekte aus der Beteiligung in Bürgerwissenschaftsprojekten betreffen. Bei Bürgerwissenschaftsprojekten, die als collaborative projects bezeichnet werden, stellt sich die Frage, ob Lerneffekte vor allem auf eine Beteiligung an anspruchsvolleren Tätigkeiten wie der Datenauswertung zurückgeführt werden können, wenn sich Teilnehmende, wie beobachtet, vor allem an der Datensammlung aktiv beteiligen. Um diese Frage klären zu können, wäre eine Kombination mit Daten aus Fragebogenerhebungen notwendig (siehe auch Böhmert und Abacioglu in diesem Band). Auch wenn es aus Fall- und Korrelationsstudien Hinweise gibt, dass Qualität und Quantität der Beteiligung mit Lerneffekten im Zusammenhang stehen könnten (Masters et al. 2016; Shirk et al. 2012), fand eine experimentelle Feldstudie (siehe auch Greving et al. in diesem Band) keine Unterschiede zwischen Teilnehmenden, die nur Daten gesammelt hatten, und solchen, die Daten gesammelt und auch ausgewertet hatten (Greving et al. 2022). Weitere Forschung sollte daher die unterschiedlichen Arten der Beteiligung genauer betrachten. In der Praxis empfiehlt sich deshalb die Nutzungsdatenanalyse mit weiteren Datenquellen aus Befragungen zu kombinieren, wenn in der Wissenschaftskommunikation evaluiert werden soll, weshalb gewisse Angebote genutzt werden und welche Effekte diese Angebote beispielsweise auf das Wissen der Teilnehmenden haben. Außerdem zeigen die Befunde, dass es vermutlich nicht reicht, den Teilnehmenden nur die Möglichkeit zur Beteiligung in verschiedenen Phasen des Forschungsprozesses anzubieten, da sie hiervon unterschiedlich Gebrauch machen. Daraus ergibt sich die Frage, wie eine Beteiligung bei der Auswertung von Daten gefördert werden kann. In der Praxis kann die Nutzungsdatenanalyse also Hinweise geben, welche Angebote in der Wissenschaftskommunikation nicht wie intendiert genutzt werden. Weitere Ergebnisse aus Laborstudien im Projekt Wildtierforscher in Berlin deuten darauf hin, dass insbesondere das Gefühl, die Daten zu besitzen, und die wahrgenommene Rolle im Projekt die aktive Beteiligung an der Datenauswertung fördern könnten (Greving et al. 2020). Zudem benötigen die Teilnehmenden möglicherweise auch eine stärkere Begleitung und Anleitung, um sich aktiver an der Datenauswertung zu beteiligen. Um also die Motive hinter dem gezeigten Verhalten zu erschließen oder Rückschlüsse aus dem Verhalten auf die Wirkung eines Angebots ziehen zu können, wäre es sinnvoll, in der Zukunft Nutzungsdaten mit weiteren Informationen über die Teilnehmenden aus Befragungen oder Beobachtungen zur Evaluation von Formaten der Wissenschaftskommunikation zu kombinieren.