Methodische Probleme von Mixed-Mode-Ansätzen in der Umfrageforschung

Die valide standardisierte Messung sozialer Phänomene setzt voraus, dass die Wahl des Erhebungsverfahrens keinen Einfluss auf das Antwortverhalten der Respondenten ausübt und die verfügbaren survey administration modes (z.B. persönlich, telefonisch, postalisch, webbasiert) identische Antworten auf dieselben Fragen bzw. Items hervorbringen.

Obwohl persönliche Interviews nach wie vor die Erhebungsmethode der Wahl in repräsentativen Haushaltsumfragen darstellen, begünstigen Budget- und Zeitbeschränkungen oftmals die Einführung von web-basierten Umfragen. Darüber hinaus können die Nachteile computergestützter selbstauszufüllender Web-Interviews (CAWI) durch die steigende Internetdichte in der Bevölkerung zunehmend kompensiert werden. Wir haben in einem experimentellen Rahmen die Effekte untersucht, die sich durch den Wechsel von computergestützten persönlichen Interviews (CAPI) zu CAWI hinsichtlich der Teilnahmequoten in einem seit 4 Jahren laufenden Haushaltspanel ergeben. Wir haben uns für ein interviewergeleitetes sequentielles CAWI-CAPI Design entschieden, um zu vermeiden, dass Panelmitglieder aufgrund fehlender Bereitschaft oder Möglichkeit, in CAWI teilzunehmen dauerhaft aus dem Panel ausscheiden. Verglichen mit dem vorherigen Standard-Modus (CAPI) konnten wir höhere Ausfallquoten im sequentiellen Befragungsmodus beobachten, jedoch fanden wir keinerlei Hinweise auf systematische Muster in den Ausfällen, die auf Charakteristiken der Panelteilnehmer zurückgeführt werden konnten. Dahingegen entdeckten wir einen Effekt der Interviewerbindung. Während die Bindung zwischen Interviewer und Panelteilnehmern in der Regel einen positiven Zusammenhang zur Teilnahmebereitschaft aufweist, kehrte sich dieser Effekt in unserem Experiment ins Gegenteil um. Haushalte mit starker Bindung zum Interviewer waren weniger bereit unter den veränderten Bedingungen an der Befragung teilzunehmen. Daneben beobachteten wir einen starken Effekt der Internetkompetenz auf die Wahl der Erhebungsmethode im sequentiellen Design. Daher gehen wir davon aus, dass ein vollständiger Wechsel von CAPI zu CAWI ein hohes Risiko für eine Verzerrung durch Ausfälle in sich birgt. Folglich empfehlen wir für die Implementierung einer neuen Erhebungsmethode in einem laufenden Panel die Einführung eines sequentiellen Erhebungsdesigns, bei dem die ursprüngliche Befragungsmethode als Alternative zur neu implementierten Methode angeboten wird. Darüber hinaus empfehlen wir bei geplanten Wechseln von persönlichen Interviews zu selbstauszufüllenden Erhebungsmethoden eine möglichst frühzeitige Überführung in den neuen Modus, um den negativen Effekt der Interviewerbindung auf die Teilnahmebereitschaft in den selbstauszufüllenden Interviews möglichst gering zu halten.

In kriminologischen Studien, in denen mittels standardisierter Befragungen Personen zu ihren eigenen Gesetzesverstößen befragt werden, ist damit zu rechnen, dass die Antworten von sozial erwünschtem Antwortverhalten beeinflusst sind. Unter sozial erwünschtem Antwortverhalten wird hier verstanden, dass die Befragten versuchen, in einer Weise zu antworten, von der sie glauben, dass sie damit einen günstigeren Eindruck machen bzw. keine negativen Konsequenzen erfahren werden („impression management“).