Handbuch standardisierte Erhebungsverfahren in der Kommunikationswissenschaft

Empirische Forschung in der Kommunikationswissenschaft blickt auf eine lange Tradition zurück. Viele Fragen, die in unserem Fach bearbeitet werden, können am besten mittels einer sinnvollen Kombination theoretischer überlegungen und empirischer Untersuchungsanlagen beantwortet werden. Das vorliegende Handbuch widmet sich den standardisierten Methoden und Verfahren der empirischen Sozialforschung. Es ist angelegt als umfassendes Kompendium dieser Erhebungsverfahren, die im Rahmen kommunikationswissenschaftlicher Studien angewandt werden. Namhafte Autorinnen und Autoren diskutieren deren methodologische Grundlagen, unterschiedliche Studiendesigns und geben einen Überblick über die relevanten Methoden und deren Anwendung.

Die quantitative Untersuchung sozialer Phänomene setzt voraus, dass die relevanten theoretischen Konzepte quantifiziert bzw. gemessen werden können. Der vorliegende Beitrag widmet sich diesem Prozess der Verknüpfung von Theorie und Empirie. Als Erstes wird der idealtypische Ablauf quantitativer Studien skizziert. Daraufhin wird erörtert, wie durch die Konzeptspezifikation und Operationalisierung Indikatoren für theoretische Konzepte generiert werden. Um zu erklären, wie Ausprägungen von Indikatoren Zahlenwerte zugewiesen werden, werden die Grundzüge der Messtheorie dargelegt und verschiedene Verfahren zur Konstruktion von Messinstrumenten dargestellt. Geschlossen wird mit einer Darstellung der zentralen Gütekriterien von Messungen und einem Ausblick auf aktuelle methodische Entwicklungen.

Systematische Skalenkonstruktionen tragen erheblich zum Erkenntnisfortschritt der Kommunikationswissenschaft bei, indem sie gültige und verlässliche Messinstrumente zur Verfügung tellen. Gleichzeitig wird die Durchführung gezielter Skalenkonstruktionen in der Kommunikationswissenschaft immer populärer, was als Zeichen der Reife und Professionalisierung der Disziplin gedeutet werden kann. Das vorliegende Kapitel gibt einen Überblick über die typischen Schritte einer Skalenkonstruktion inklusive aktueller Empfehlungen zur Datenanalyse, häufig angewandter Faustregeln, und Verweise auf vertiefende Literatur. Die zentralen Schritte der Skalenkonstruktion umfassen theoretische Vorarbeiten, die Entwicklung eines Itempools, die Ermittlung psychometrischer Güte der Items, die Überprüfung der Dimensionalität der Skala, die Itemauswahl und finale Skalenbildung, sowie das Testen der Validität der Skala. Die Ausführung dieser Schritte erfordert in der Regel mehrere Stichproben und Studien, wodurch Skalenkonstruktionen gut geplant sein müssen.

Jede empirische Studie „lebt“ von der Qualität ihrer Daten. Nicht nur während des eigentlichen Messvorgangs, sondern bereits in der Planungsphase der Datenerhebung gilt es potentielle Fehlerquellen zu reflektieren und möglichst zu vermeiden. Zu den Fehlern, die bereits im Vorfeld einer Erhebung begangen werden können, zählen beispielsweise der Abdeckungsfehler, der die Passung zwischen Grundgesamtheit und Auswahlgesamtheit beschreibt, sowie der Stichprobenfehler. Für die Beachtung dieser potentiellen Fehlerquellen will dieser Beitrag sensibilisieren. Anhand verschiedener Beispiele aus der Umfrage- und der Medieninhaltsforschung soll die Auswirkung bestimmter Entscheidungen im Vorfeld der Datenerhebung einer kritischen Prüfung unterzogen werden. Der Beitrag beginnt mit der Frage, wie die Grundgesamtheit einer Studie angemessen definiert werden kann, unter Berücksichtigung der Problematik des Abdeckungsfehlers in quantitativen Befragungen und Inhaltsanalysen. Dabei werden bereits verschiedene Auswahlverfahren (wie das der Publizistischen Stichprobe, willkürliche Auswahlen, die Auswahl typischer oder extremer Fälle sowie die Selektion nach dem Konzentrationsprinzip) angesprochen und hinsichtlich der Größe potentieller Abdeckungsfehler hinterfragt. Von dem Abdeckungsfehler ist der Stichprobenfehler zu unterscheiden. Der Beitrag widmet sich in einem nächsten Schritt sowohl den zufälligen (einfacher Zufall, disproportionale Schichtung, Klumpen) als auch den bewussten Stichprobenverfahren (extreme Fälle und Quotenauswahl). Auch hier werden erneut Beispiele aus der Umfrage- und Medieninhaltsforschung geliefert sowie Pros und Contras der Verfahren gegeneinander abgewogen. Das abschließende Fazit fasst noch einmal die einzelnen Überlegungen, die in der Planungsphase der Datenerhebung zu bedenken sind, zusammen, um für unterschiedliche Forschungsziele und Ausgangslagen bestmögliche Herangehensweisen vorzuschlagen.

Reaktivität ist eine Begleiterscheinung sozialwissenschaftlicher Erhebungsmethoden, welche die Validität empirischer Ergebnisse gefährdet. Sie resultiert daraus, dass soziale Wirklichkeit mit sozialen Methoden erforscht wird. Die konkreten Auswirkungen sind vielfältig: Befragte geben falsche Antworten, verweigern Antworten; beobachtete Personen verhalten sich anders, als wenn sie sich nicht beobachtet fühlen. Zu erkennen, ob ein empirisches Resultat ein methodisches Artefakt ist, das nur durch den Einsatz der Erhebungsmethode zustande gekommen ist und außerhalb dieser Erhebung keine Gültigkeit hat, ist bereits schwierig. Noch komplizierter ist der Umgang mit reaktiven Ergebnissen oder gar deren Prävention. Die Maßnahmen reichen von handwerklichen Korrekturen von Erhebungsinstrumenten bis zu allgemein wie spezifisch methodologisch reflektierten Interpretationen der empirischen Ergebnisse oder analytischen Erklärungen für konkrete reaktive Resultate.

Das Messen von Veränderungen hat eine große Bedeutung in der Kommunikationswissenschaft. Viele zentrale Theorien und Ansätze befassen sich mit individuellen oder sozialen Wandlungsprozessen. Veränderungen lassen sich valide nur mithilfe von Längsschnittstudien untersuchen. Dabei kann man zwischen Trendstudien und Panelstudien unterscheiden. Eine besondere Bedeutung können auch Tagebucherhebungen haben. Trendstudien messen Veränderungen durch die wiederholte identische Messung mit jeweils neuen Samples. Panel führen die wiederholten Messungen mit den identischen Untersuchungssubjekten durch. Das Tagebuch kann im Prinzip als eine Sonderform des Panels angesehen werden, bei dem die Versuchsteilnehmerinnen und -teilnehmer in einer definierten zeitlichen Abfolge schriftliche Fragebögen ausfüllen. Jedes der Verfahren hat spezifische Vor- und Nachteile. Trendstudien sind im Vergleich wenig aufwändig und erlauben eine schnelle Abfolge von Messungen. Sie müssen auch nicht vorher geplant sein, sondern können durch Replikation vorhandener Studien entstehen. Panelstudien sind leistungsfähiger, da sie Wandlungsprozesse detaillierter beschreiben und sicherer bestimmen können; sie sind aber in der Durchführung aufwändiger. Tagebücher gelten als besonders valide und reliable Erhebungsform insbesondere zur Analyse der Mediennutzung, sie sind aber auch besonders aufwändig.

Experimente gehören seit ihrem Import aus der Psychologie in die Kommunikationswissenschaft zu den zentralen Varianten der empirischen Untersuchungsanlage in den Feldern, in denen Medienrezeption und/oder die Wirkung von Medien auf das Individuum erforscht werden. Wir stellen die derzeit geläufigsten Formen experimenteller Designs in der Medienforschung vor und setzen uns mit zentralen Herausforderungen in der Durchführung und Vermittlung experimenteller Studien auseinander. Dazu gehören vornehmlich Fragen der internen und externen Validität, insbesondere mit Blick auf das Experimentieren mit den neuen (interaktiven, mobilen) Medien. Empfehlungen für die Fortsetzung der methodischen Erfolgsgeschichte kommunikationswissenschaftlichen Experimentierens in der Zukunft schließen das Kapitel ab.

Der Beitrag gibt einen Überblick über theoretische Grundlagen und methodische Verfahrensweisen der Komparatistik und zeigt Herausforderungen auf, die es in diesem Forschungszweig noch zu lösen gilt. Spezifikum komparativer Studien ist der Vergleich als zentrale Erkenntnisstrategie. Der Logik quasi-experimenteller Designs folgend, zieht die Komparatistik Kontextbedingungen auf der Makroebene heran, die sich zwischen Systemen, Kulturen oder Märkten unterscheiden, um kommunikationswissenschaftlich relevante Phänomene auf der Mikroebene zu erklären. Je mehr Vergleichseinheiten und -ebenen gewählt werden, desto komplexer und anspruchsvoller wird dieses Vorhaben. Um eine Studie als komparativ bezeichnen zu können, ist es aus methodischer Sicht zentral, dass die Vergleichsabsicht sämtliche Stufen des Forschungsprozesses prägt – von der Fragestellung und dem theoretischen Hintergrund über die methodische Umsetzung und Durchführung bis hin zur Auswertung und Interpretation der Ergebnisse. Besonderes Gewicht muss auf der Auswahl der Vergleichseinheiten und der Sicherstellung von Vergleichbarkeit (Äquivalenz) liegen. Nur dann kann das große Erkenntnispotenzial komparativer Studien genutzt werden.

Mehrmethodendesigns gelten in der empirischen Forschung als ein Erfolgsfaktor für eine hohe Qualität der Datenerhebung. Grund dafür ist ihr Potenzial, Forschungsperspektiven inhaltlich zu ergänzen, methodische Defizite zu kompensieren und Messungen zu validieren. In der Forschungspraxis werden sie jedoch vergleichsweise selten angewandt: Die hohe Komplexität der Untersuchungsanlage, methodische Anpassungsanforderungen und forschungsökonomische Aspekte limitieren den Einsatz. Dieses komplexe Verhältnis von Nutzen und Kosten bei der Anwendung von Mehrmethodendesigns steht im Zentrum des vorliegenden Beitrages. Zunächst werden die Anwendung und die Grenzen von Mehrmethodendesigns allgemein betrachtet, bevor anschließend anhand forschungspraktischer Beispiele mögliche Kombinationen, deren Potentiale und Schwierigkeiten vorgestellt werden.

Die Methode der Befragung spielt innerhalb der Kommunikationswissenschaft eine zentrale Rolle bei der Erforschung von Einstellungen, Meinungen und Wissen sowie als Instrument für die Untersuchung von Reaktionen und Veränderungen derselben. Der standardisierten Befragung kommt dabei eine besondere Bedeutung zu, denn mit ihrer Hilfe können vergleichende Aussagen über eine Vielzahl von Versuchspersonen gemacht werden bei relativ ökonomischem Einsatz von Ressourcen. Neben der Reaktivität der Methode liegt die besondere methodische Herausforderung darin, dass die Messergebnisse auf Basis eines kognitiven Frage- und Antwortprozesses zustande kommen, der fehleranfällig ist. Darüber hinaus kann die Standardisierung zu einer asymmetrischen Kommunikationssituation und damit zu Verzerrung führen. Durch einen sorgfältig operationalisierten und strategisch aufgebauten Fragebogen lässt sich jedoch einigen der sich daraus ergebenden Schwierigkeiten begegnen.

Die Online-Befragung hat Eingang in den Methodenkanon der wissenschaftlichen empirischen Forschung gefunden. In diesem Beitrag werden verschiedene Formen der Online Befragung vorgestellt, wobei auch die in der Praxis häufig eingesetzte Online-Panel-Befragung thematisiert wird. Daneben bietet der Beitrag einen ausführlichen Vergleich zu den traditionellen Befragungsmethoden hinsichtlich Kosten, Zeit und möglichen Untersuchungszielen. Schließlich werden wichtige Aspekte der Güte von Online-Befragungs-Daten erörtert.

Real-Time Response (RTR-)Messungen sind kontinuierliche Befragungen während der Medienrezeption. Die Probandinnen und Probanden können in Echtzeit ihren Eindruck von z. B. Filmen, Werbespots oder Politikerreden mit Hilfe eines elektronischen Eingabegeräts abgeben. Die Wahrnehmungen der einzelnen Personen werden in einem zentralen Computer aggregiert und stehen für grafische oder statistische Analysen zur Verfügung. Durch die Kombination mit Inhaltsanalysen oder herkömmlichen Befragungen vor und nach der Rezeption lassen sich die Ursachen der Wahrnehmungen ermitteln und neuere Medienwirkungsmodelle überprüfen, die von einem Zusammenhang zwischen den Voreinstellungen der Rezipientinnen und Rezipienten, ihren Wahrnehmungen während der Rezeption und den längerfristigen Wirkungen von Medieninhalten ausgehen. Der vorliegende Beitrag gibt einen Überblick über die Anwendungsmöglichkeiten von RTR-Messungen in der Kommunikationswissenschaft, skizziert deren Ablauf sowie methodische Entscheidungen und diskutiert Gütekriterien wie Reliabilität und Validität.

Die rasante Verbreitung der Mobilkommunikation in den vergangenen Jahrzehnten hat der Kommunikationswissenschaft nicht nur einen neuen Untersuchungsgegenstand beschert, sondern ist auch dazu geeignet, das Methodenspektrum des Fachs zu erweitern. Die hier vorgestellte Mobile Experience Sampling Method erfasst in situ - also in der natürlichen Umgebung und ohne auf Erinnerungsleistungen oder Rekonstruktionen der Befragten angewiesen zu sein - deren Verhalten, Gedanken, Gefühle etc. Sie stellt damit eine Adaption der aus der Sozialpsychologie bekannten Experience Sampling Method an die heutigen erweiterten technischen Möglichkeiten dar. Durch die Integration der Methode in die Smartphones der Studienteilnehmenden ist die MESM deutlich aufwandsärmer für die Befragten als die klassische Experience Sampling Method.

Implizite Methoden wurden in der Sozialpsychologie entwickelt, um spontane und automatische im Gegensatz zu deliberativen kognitiven Strukturen zu erfassen. Diese automatischen kognitiven Inhalte - wie beispielsweise Einstellungen zu bestimmten Gruppen von Menschen - sind Teilnehmenden von Studien häufig selbst nicht bewusst zugänglich oder der Wunsch nach einer positiven Selbstdarstellung oder Selbstwahrnehmung führt zu einer verzerrten Darstellung. Implizite Methoden sind so konzipiert, dass Teilnehmenden das Untersuchungsziel entweder nicht bewusst ist oder sie das Ergebnis nicht kontrollieren können (De Houwer 2006). Sie eignen sich daher besonders für die Erfassung sozial sensibler Themen, bei denen sozial erwünschtes Antwortverhalten zu erwarten ist. Der folgende Beitrag dient dazu, kommunikationswissenschaftliche Fragestellungen zu identifizieren, für die sich der Einsatz impliziter Methoden lohnen kann. Durch die Vorstellung beispielhafter medienpsychologischer Studien sowie die Diskussion praktischer wie theoretischer Fragen soll eine Grundlage für den Einsatz impliziter Methoden für geeignete Forschungsfragen geschaffen werden.

Als empirische Methode zur systematischen, intersubjektiv nachvollziehbaren Beschreibung inhaltlicher und formaler Merkmale von Mitteilungen mit dem Ziel einer darauf basierten interpretativen Inferenz auf mitteilungsexterne Sachverhalte bzw. soziale Realität (vgl. Früh 2011; Rössler 2010a) gilt die standardisierte Inhaltsanalyse als das am häufigsten eingesetzte Verfahren in der Kommunikationswissenschaft. Im Folgenden wird zunächst die grundlegende Analyselogik der Inhaltsanalyse vorgestellt, bevor zentrale Aspekte der praktischen Umsetzung thematisiert werden. Der Überblick über die Auswahl des Untersuchungsmaterials und die Stichprobenziehung sowie die Definition von Analyseeinheiten und Gütekriterien skizziert dabei auch die wesentlichen Evaluationskriterien, mit denen die Leistungsfähigkeit der Methode, aber genauso die Herausforderungen und Grenzen in ihrer empirischen Umsetzung bestimmt werden können.

Nachdem es viele Jahre vergleichsweise wenig Entwicklung auf dem Gebiet automatischer Inhaltsanalysen gegeben hat, erleben diese Verfahren in jüngster Zeit geradezu einen Boom in Wissenschaft und Marktforschung. Angesichts des Umfangs an leicht verfügbaren digitalen Dokumenten, sowohl aus (halb-)öffentlicher interpersonaler Kommunikation als auch aus Medienangeboten, scheinen automatische Analyseverfahren nicht nur sehr attraktiv, sondern geradezu alternativlos. In diesem Beitrag werden traditionelle und neuere Ansätze automatischer Inhaltsanalyse vorgestellt sowie deren Vor- und Nachteile gegenüber der manuellen Codierung diskutiert. Dabei zeigt sich, dass man sich als Forschende keineswegs für einen Weg entscheiden muss, sondern sich in vielen Fällen manuelle und automatische Verfahren kombinieren lassen. Allerdings gibt es für viele neuere Ansätze weiterhin kaum fertige Lösungen für die angewandte Forschung.

Die standardisierte Bildinhaltsanalyse ist die zentrale Methode, um größere Mengen an Bildern bzw. Bildinhalten im medialen Produktions- und Publikationsprozess zu untersuchen und Fragen nach der Häufigkeit bestimmter Bildinhalte, nach allgemeinen Strukturen und Tendenzen der Bildberichterstattung und deren Stabilität zu beantworten oder Veränderungen im Zeitverlauf aufzudecken. Ihre methodischen Grundprinzipien entsprechen denen der standardisierten Inhaltsanalyse, doch sind bei der Inhaltsanalyse von Bildern einige methodische Besonderheiten zu berücksichtigen, die aus der spezifischen Logik Visueller Kommunikation resultieren. Diese werden im vorliegenden Beitrag zusammengefasst. Dabei werden insbesondere die Herausforderungen der theoretischen Dimensionierung des Bildes als Analyseobjekt, der Auswahl der bildspezifischen Analyse- und Codiereinheiten, der Entwicklung bildspezifischer Analysekategorien sowie die Berücksichtigung des Bildkontextes adressiert.

Die quantitative Beobachtung wird in diesem Beitrag als Verfahren zur systematischen Erfassung von Reaktionen und Verhaltensweisen von Personen definiert und unterschiedliche Vorgehensweisen werden charakterisiert. Diese beziehen sich (a) auf das Erhebungsverfahren, (b) die Erhebungssituation und (c) die Beobachtenden. Es folgen Angaben zu den typischen Arbeitsschritten von Beobachtungsstudien: Konzeption, Auswahl, Erhebung, Durchführung und Auswertung. Anschließend werden Probleme der Validität und Reliabilität sowie typische sonstige Probleme von Beobachtungsstudien diskutiert. Der Beitrag schließt mit einem kurzen Ausblick auf die Stellung der quantitativen Beobachtung innerhalb der Kommunikationswissenschaft sowie deren wahrscheinliche zukünftige Entwicklung.

Physiologische Messmethoden erlauben eine zeitsensitive Erfassung emotionaler und kognitiver Prozesse während der Medienrezeption. Im folgenden Beitrag werden Messverfahren vorgestellt, die zur Erhebung und Analyse von Medienwirkungen (insbesondere von Rezeptionsprozessen) herangezogen werden können. Der Schwerpunkt liegt dabei auf der Beobachtung peripherphysiologischer Indikatoren psychischen Geschehens. Neben physiologischen Grundlagen, Anwendung, Parametrisierung und der Bedeutung der hier vorgestellten Verfahren wird jeweils auch auf die Grenzen der Methoden sowie ihr Potenzial für die Beantwortung kommunikationswissenschaftlicher Fragestellungen eingegangen.

Eye-Tracking ist ein apparatives, rezeptionsbegleitendes Verfahren zur Ermittlung der Blickrichtung von Personen. Es ermöglicht genaue Aussagen darüber, welche Medieninhalte Rezipientinnen und Rezipienten wie lange und in welcher Reihenfolge betrachten. Dieser Beitrag veranschaulicht die Funktionsweise des Verfahrens anhand relevanter physiologischer und technologischer Grundlagen. Unterschiedliche aktuelle Gerätetypen (stationäre und mobile Systeme) werden vorgestellt und in Bezug auf ihre jeweiligen Vor- und Nachteile für die Verwendung im Rahmen kommunikationswissenschaftlicher Studien betrachtet. Der Beitrag stellt grundlegende qualitative und quantitative Auswertungsmöglichkeiten von Blickaufzeichnungsdaten vor und setzt sich mit der Frage auseinander, unter welchen Bedingungen Blickaufzeichnungsdaten auch als Indikatoren kognitiver Prozesse sowie ausgewählter Stimulus- und Rezipienteneigenschaften genutzt werden können. Eine Betrachtung kommunikationswissenschaftlicher Anwendungsfelder der Methode sowie anwendungsbezogener Herausforderungen beschließen den Beitrag.