Skip to main content
Top

2015 | Book

Nonresponse Bias

Qualitätssicherung sozialwissenschaftlicher Umfragen

insite
SEARCH

About this book

Die Qualitätssicherung sozialwissenschaftlicher Umfragen ist in den letzten Jahren zu einem großen Thema geworden. Bilden Stichproben mit vergleichsweise geringer Beteiligungsquote noch die Lebenslagen, Einstellungen und Verhaltensweisen der jeweiligen Grundgesamtheit ab? Wie groß ist ihre Selektivität bzw. ihre Verzerrung, also der Nonresponse Bias? Wie geeignet sind Gewichtungs- und Hochrechnungsverfahren, um trotz geringer Ausschöpfungsquoten gleichwohl verallgemeinerbare Schlüsse auf die Grundgesamtheit ziehen zu können?

Das Buch bereichert den Stand der Forschung im Bereich Surveymethodologie und leistet einen lesenswerten Beitrag zur gesamten surveydatengestützten quantitativen empirischen Sozialforschung.

Table of Contents

Frontmatter

Innovative statistische Verfahren

Frontmatter
Prävention, Korrektur oder beides?
Zusammenfassung
Die Ausschöpfungsquote galt lange Zeit als wichtigster Indikator der Datenqualität in Umfragen, denn sie ist relativ einfach zu berechnen und zu vergleichen. Sie kann jedoch auch sehr leicht fehlinterpretiert werden, da eine hohe Ausschöpfung nicht immer mit einem niedrigen Nonresponse Bias einhergeht. Deshalb wurden in den letzten Jahren verschiedene Maßnahmen entwickelt, wie der Nonresponse Bias unabhängig von der Ausschöpfungsquote reduziert werden kann. In diesem Beitrag werden dazu drei Wege auf Grundlage von geschätzten Teilnahmewahrscheinlichkeiten („Propensity Scores“) vorgestellt und anhand einer Simulationsstudie diskutiert.
Jan Eric Blumenstiel, Tobias Gummer

Querschnitt, Face-to-Face

Frontmatter
Teilnahmeverhalten und Stichprobenverzerrung in der deutschen Stichprobe des European Social Survey
Zusammenfassung
Teilnahmeverhalten (Nonresponse) und Stichprobenverzerrungen (Bias) zählen vermutlich zu den beiden wichtigsten Forschungsgebieten der Surveymethodologie. Beide Bereiche hängen eng zusammen: Die systematische, nicht zufällige Verweigerung oder Nichtteilnahme an einer Studie führen zu Ergebnissen, die bei Verallgemeinerungen auf die Grundgesamtheit diese nur verzerrt wiedergeben (Groves und Peytcheva 2008). Dies stellt auch eine Herausforderung für den European Social Survey (ESS) dar.
Michael Weinhardt, Stefan Liebig
Führt eine höhere Ausschöpfung zu anderen Umfrageergebnissen?
Zusammenfassung
Die Ausschöpfungsquoten von Bevölkerungsumfragen sinken in vielen westlichen Ländern (Atrostic et al. 2001; Brick und Williams 2013; de Leeuw und de Heer 2002; Dixon und Tucker 2010; National Research Council 2013; für Deutschland siehe Reuband 2011; Schnell 1997). Ausschöpfungsquoten unter 50 Prozent stellen bei Haushaltsbefragungen in Europa heutzutage keine seltenen Ausnahmefälle mehr dar (Kreuter 2013; Matsuo und Loosveldt 2013). In vielen Fällen haben Umfrageinstitute versucht, durch vermehrten Aufwand bei der Datenerhebung (z.B. durch häufigere Kontaktversuche oder den Einsatz von Befragtenincentives) den negativen Trend zu stoppen – zumeist nur mit mäßigem Erfolg. Als Konsequenz sind rückläufige Ausschöpfungen trotz steigender Umfragekosten zu verzeichnen.
Michael Blohm, Achim Koch

Telefonische und postalische Befragungen

Frontmatter
Dual-Frame-Telefonstichproben
Zusammenfassung
Die Entwicklung der Anzahl der Festnetzanschlüsse in Deutschland zeigt für den Zeitraum von 2009 bis 2013 wenig Veränderung und stagniert auf einem Wert von ca. 38 Mio. Anschlüsse. Bei einer näheren Untersuchung der Zusammensetzung dieses Wertes anhand des von der Bundesnetzagentur (BNA) für 2012/2013 veröffentlichten Tätigkeitsberichts kann jedoch festgestellt werden, dass klassische Telefonanschlüsse, also Analog- und ISDN-Anschlüsse, zunehmend seltener in Anspruch genommen werden.
Matthias Sand
Nonresponse Bias in telefonischen Opferbefragungen
Zusammenfassung
Die national sowie international niedrigen und sinkenden Ausschöpfungsquoten in Umfragen (De Leeuw und De Heer 2002; Aust und Schröder 2009) können als eines der Hauptprobleme der heutigen Umfrageforschung betrachtet werden. Auch wenn niedrige Ausschöpfungsquoten nicht zwingend mit Verzerrungseffekten einhergehen (Groves und Peytcheva 2008; Schouten et al. 2009), so ist die Repräsentativität von Umfrageergebnissen bei hohen Nonresponseraten jedoch zumindest in Frage zu stellen – auch wenn einige Studien feststellen konnten, dass höhere Ausschöpfungen ebenso mit schlechteren Schätzern einhergehen können (Groves 1989; Groves und Couper 1998).
Nathalie Guzy
Ausschöpfung und Nonresponse Bias in postalischen Befragungen
Zusammenfassung
Postalische Befragungen nehmen in der deutschen Sozialwissenschaft derzeit eine eher marginale Stellung ein. Während sie in manchen Ländern, wie z.B. in Skandinavien, regelmäßig in allgemeinen Bevölkerungserhebungen zum Einsatz kommen und in anderen Ländern, wie den USA, das Interesse daran stark gestiegen ist, herrscht in Deutschland eine weitgehende Zurückhaltung vor. Wenn von ihnen in allgemeinen Bevölkerungsbefragungen Gebrauch gemacht wird, dann – von Ausnahmen abgesehen – außerhalb der akademischen „scientific community“, durch die Statistikund Stadtforschungsämter der Städte und Gemeinden.
Karl-Heinz Reuband

Mixed Mode Design

Frontmatter
Mixed-Mode Design, Incentivierung und Nonresponse Bias im Rahmen einer Einwohnermeldeamtsstichprobe
Zusammenfassung
In Deutschland wird in der Sozial- und Marktforschung nach wie vor am häufigsten per Telefon oder Internet befragt (ADM 2014). Die wissenschaftliche Umfrageforschung sieht sich allerdings, vor allem im Rahmen telefonischer Befragungen (z.B. qua Randomized Last Digit/Random Digit Dialing), immer häufiger mit dem Problem niedriger Antwortraten konfrontiert (Aust und Schröder 2009; Häder et al. 2009; Kreuter 2013). Das auf Gabler und Häder (2002) zurückgehende Verfahren wurde seinerzeit entwickelt, um dem Trend einer abnehmenden Telefonbuch-Eintragsdichte entgegenzuwirken.
Uwe Engel, Björn Oliver Schmidt
Ergebnisse einer Projektstudie im Mixed-Mode-Design
Zusammenfassung
Das Robert Koch-Institut führt seit den frühen 2000er Jahren telefonische Gesundheitsssurveys durch. Kernthemen sind hierbei Einflussfaktoren auf die Gesundheit, die Inanspruchnahme von Leistungen des Gesundheitssystems sowie die Erfassung von chronischen Krankheiten. Hierfür wurde unter anderem ein eigenes CATI-Labor in der Abteilung Epidemiologie und Gesundheitsmonitoring aufgebaut.
Patrick Schmich
Verzerrung durch selektive Stichproben
Zusammenfassung
Umfragen sind für Wissenschaft, Politik und Unternehmen ein alltägliches Instrument der Generierung von Forschungsdaten, ohne die viele Forschungsprojekte und gesellschaftliche Entscheidungen kaum möglich wären. Eine wichtige Grundlage hierfür ist die Annahme, dass die Teilnehmer einer Umfrage verzerrungsfreie und somit verallgemeinerungsfähige Antworten für die zugrundeliegende Gesamtpopulation geben. Eine etablierte wissenschaftliche Literatur beschäftigt sich dabei mit Fragen, wie die Antwortbereitschaft einer Umfrage erhöht, oder wie eine mögliche Stichprobenverzerrung gemessen und korrigiert werden kann (für eine Übersicht siehe zum Beispiel Singer 2006).
Arne Jonas Warnke

Attrition und Nonresponse Bias in Panel-Studien

Frontmatter
Exit Questions
Zusammenfassung
Mit dem heutigen Stand der sozialwissenschaftlichen Methodenforschung stehen verschiedene Befragungsmodes zur Verfügung. Abhängig von Faktoren wie Zielgruppe, Budget, Zeit und Thema, ist darüber zu entscheiden, ob die Befragung mündlich-persönlich (Face-to-Face), selbstadministriert (Mail, Paper-and-Pencil, Web, Mobile Web) oder per Telefon durchgeführt werden soll. Jeder Befragungsmode weist spezifische Stärken und Schwächen auf. Im Vergleich zu anderen Befragungsmodes (Face-to-Face, selbstadministriert) gelten telefonische Befragungen vor allem als schneller und kostengünstiger (Cobben und Bethlehem 2005).
Britta Busse, Simon Laub, Marek Fuchs
Auswirkungen der Administration von Kompetenztests im Rahmen einer Panelerhebung für Erwachsene
Zusammenfassung
Kompetenztests werden üblicherweise einmalig im Rahmen von Klassenraumbefragungen bei Schülern durchgeführt. In der Erwachsenenbefragung des Nationalen Bildungspanels (NEPS) hingegen wurden Kompetenztests im Rahmen einer jährlich wiederholten, persönlichen Befragung einer großen Stichprobe der Erwachsenenbevölkerung eingesetzt. Die Erhebung von Kompetenzen in einem solchen Kontext kann sich insofern als problematisch erweisen, als negative Auswirkungen der Testdurchführung auf Nonresponse und Panelmortalität zu befürchten sind.
Um zu überprüfen ob derartige Probleme tatsächlich auftreten, wurde im Rahmen der dritten Welle der Erwachsenenbefragung des NEPS ein experimentelles Split-Half Design implementiert. Im Rahmen dieses Experiments wurden der Hälfte der Befragten zwei 30-minütige Kompetenztests (jeweils in den Domänen Lesen und Mathematik) vorgelegt. Zusätzlich mussten diese Befragten ein 30-minütiges Basisinterview beantworten. Die andere Hälfte der Befragten erhielt ebenfalls das 30-minütige Basisinterview, aber nur einen der beiden Kompetenztests. Durch dieses Design konnte sowohl der Effekt der Ankündigung der entsprechenden Befragung auf die Testteilnahme in der laufenden Welle als auch die Effekte auf die Teilnahme an der Folgewelle untersucht werden.
Die Ergebnisse zeigen, dass Befragte in der Gruppe mit der längeren Testvariante stärker dazu tendierten, die Testteilnahme zu vermeiden, indem sie auf ein im Rahmen des Methodenmix alternativ mögliches Telefoninterview (ohne Tests) auswichen oder im persönlichen Interview die Testteilnahme verweigerten bzw. den Test abbrachen. Im Gegensatz dazu konnten wir keinen direkten Effekt der Testdauer auf die Teilnahme an der Folgewelle feststellen. Was sich allerdings zeigt, ist ein negativer Zusammenhang zwischen den Testergebnissen einer befragten Person und einer Teilnahmeverweigerung in der Folgewelle – und dieser Effekt ist für die Befragten in der Zwei-Test-Variante besonders stark. Diese Quelle des Nonresponse-Bias ließe sich u.E. durch zwei Maßnahmen minimieren: eine Verkürzung der Testdauer und die Verwendung adaptiver Tests.
Corinna Kleinert, Bernhard Christoph, Michael Ruland
Attrition im Beziehungs- und Familienpanel pairfam
Zusammenfassung
Das Beziehungs- und Familienpanel pairfam (panel analysis of intimate relationships and family dynamics; im folgenden pairfam-Studie) ist eine jährliche Befragung einer Zufallsstichprobe von Personen der drei Geburtskohorten 1991-1993, 1981-1983 und 1971-1973. Nach fünf veröffentlichten Wellen zählt pairfam zu den wichtigsten Datenquellen für die Untersuchung von Paar- und Familiendynamiken in Deutschland. Das Design der pairfam- Studie wurde ausgewählt, um Informationen zu vielfältigen Übergängen zu sammeln und entscheidende Lebensphasen untersuchen zu können.
Bettina Müller, Laura Castiglioni
Gewichtung und Integration von Auffrischungsstichproben am Beispiel des Sozio-oekonomischen Panels (SOEP)
Zusammenfassung
In prospektiven Panelstudien wie dem Sozio-oekonomischen Panel (SOEP) gibt es im Grundsatz zwei Argumente, die eine Integration von neuen Stichproben sinnvoll erscheinen lassen. Zum einen sollen diese neuen Stichproben, die ab der zweiten Welle gezogen und in die laufende Stichprobe der ersten Welle integriert werden, ausgefallene Untersuchungseinheiten ersetzen.
Martin Kroh, Rainer Siegers, Simon Kühne
Analyse und Behebung von selektivem Bias – EU-SILC Österreich
Zusammenfassung
Der vorliegende Beitrag behandelt Verzerrungen von Schätzern aus Stichprobenerhebungen aufgrund von Antwortausfällen bei der Erhebung EUSILC (European Statistics of Income and Living Conditions) in Österreich. Antwortausfälle, d.h. nicht an der Erhebung teilnehmende Erhebungseinheiten, können dann zu verzerrten Schätzern führen, wenn der Ausfall nicht komplett zufällig stattfindet. Formal kann der Antwortausfall dabei als Zufallsvariable betrachtet werden, bei der der Eintritt des Ausfalls einer bestimmten Wahrscheinlichkeit unterliegt (Groves et al. 2004).
Thomas Glaser, Elisabeth Kafka
Backmatter
Metadata
Title
Nonresponse Bias
Editors
Jürgen Schupp
Christof Wolf
Copyright Year
2015
Electronic ISBN
978-3-658-10459-7
Print ISBN
978-3-658-10458-0
DOI
https://doi.org/10.1007/978-3-658-10459-7