1. Einleitung und Übersicht zur Arbeit

Obwohl in der aktuellen survey-methodologischen Literatur auch Fragen der Ressourcennutzung und der situativen Verwendung von Survey-Daten thematisiert werden, ist sie immer noch stark auf die Erhebungssituation als zentraler Koordinations- und Entstehenssituation von methodischen Problemen fokussiert. Die Erhebungssituation stellt den zentralen Gegenstand survey-methodologischer Forschung dar und es wurden Studien zu dieser Koordinationssituation auf der Basis verschiedener sozialwissenschaftlicher Theorien durchgeführt.² Nebst dieser umfassenden Thematisierung der Erhebungssituation werden durch die Survey-Methodologie jedoch nach wie vor hauptsächlich methodische Fragestellungen in einem engeren Sinn aufgegriffen³. Trotz der Einsicht in die Herausforderungen der Survey-Praxis werden praktische Koordinationsprobleme in Surveys durch die Survey-Methodologie oft nicht weiter theoretisiert. Eine bis heute kaum weiterführend thematisierte Herausforderung der Survey-Praxis stellt dabei die Koordination zwischen Auftraggebern und Survey-Firmen dar. Dies, obwohl in einigen Ländern auch akademische und staatliche Surveys durch privatwirtschaftliche Survey-Firmen durchgeführt werden (Malter 2013; Schnell 2012, S. 370 ff.; Schweizerischer Bundesrat 2008). Unter „Survey-Firmen“ werden dabei sämtliche Firmen verstanden, welche Befragungsdienstleistungen anbieten. Dabei ist es unerheblich, welche Art der Befragung (telefonisch, schriftlich, webbasiert, etc.) angeboten wird. Der Begriff „Survey-Firmen“ vereint dadurch im Hinblick auf ihre Größe sehr unterschiedliche Firmen, von der Einpersonenfirma bis zu transnationalen Konzernen. Survey-Firmen arbeiten dabei oft für unterschiedliche Auftraggeber, d.h. öffentlich-rechtliche, privatwirtschaftliche, universitäre etc. Die fehlende Thematisierung der Koordination zwischen Auftraggebern und Survey-Firmen steht dabei im Widerspruch zur Feststellung sowohl von Survey-Praktikern als auch der Survey-Methodologie, wonach diese Koordination der Ursprung vielfältiger Herausforderungen für Survey-Forscher darstellt. Denn die Schnittstelle zwischen Survey-Firmen und Auftraggebern wird in Publikationen der Survey-Methodologie durchaus als wichtiger Faktor für das Erreichen einer hohen Survey-Qualität, bzw. allgemeiner als Faktor für eine gelingende Survey-Koordination, aufgefasst und es werden teilweise auch Hinweise für den praktischen Umgang mit Koordinationsproblemen gegeben (Dillman et al. 2014, S. 251; Schnell 2012, S. 155). Es fehlt jedoch gleichzeitig an einer umfassenden Theoretisierung dieses Übergangs, wie unschwer an aktuellen Lehrbüchern zur Survey-Methodologie abzulesen ist (Dillman et al. 2014; Groves et al. 2009; Schnell 2012).

Die vorliegende Arbeit hat sich zum Ziel gesetzt, die Koordination zwischen Auftraggebern und Auftragnehmern in Survey-Projekten einer näheren Betrachtung zu unterziehen. Denn dieser Übergang stellt nicht nur eine in der Survey-Methodologie untertheoretisierte Herausforderung der Survey-Praxis dar, sondern wird in der Survey-Praxis selbst als koordinative Herausforderung wahrgenommen. Durch Survey-Praktiker werden dabei unterschiedliche Logiken der Survey-Produktion identifiziert, welche sich in der Koordination mit Survey-Firmen an verschiedenen Stellen zeigen. So werden einerseits teilweise generell unterschiedliche Qualitätsauffassungen identifiziert, aber auch spezifischere Differenzen wie unterschiedliche Schwerpunktsetzungen bei der Befragung oder ein unterschiedlicher Umgang mit festen Forschungsbudgets.⁴ Wie in Abschn. 2.​5.​5 mit dem Begriff der „Survey-Pragmatik“ deutlich gemacht wird, stellt die Survey-Praxis nicht lediglich den Ort von lokalen und situativen Entscheiden dar.⁵ In der Survey-Praxis werden Surveys folglich nicht lediglich „organisiert“. Vielmehr müssen in der Survey-Praxis methodische und auch methodologische Entscheidungen stets aufs Neue getroffen und justiert werden.

Kritik an der Survey-Forschung, bzw. der Survey-Methodologie, wird auch durch die Soziologie selbst formuliert. Dies ist nicht erstaunlich, stellt doch die Soziologie eine multiparadigmatische Wissenschaftsdisziplin dar (Häder 2015; Kromrey et al. 2016). Bedeutend wurde in diesem Zusammenhang insbesondere die ethnomethodologisch fundierte Kritik von Aaron Cicourel, welche er in „Methode und Messung in der Soziologie“ ausführte (1974). Cicourel formuliert hier eine Kritik, welche nicht auf methodischer, sondern auf methodologischer Ebene angesiedelt ist. Er kritisiert folglich nicht die Forschungspraxis, sondern entwickelt eine Fundamentalkritik an der methodologischen Grundlegung, insbesondere der quantitativen Sozialforschung. Das zentrale Argument von Cicourel ist, dass die quantitative Sozialforschung über zu wenig theoretisches Wissen bezüglich des Antwortprozesses verfügt, um den Bedingungen einer echten Messung zu genügen (Cicourel 1974, S. 28 ff.). Dies hat gemäß ihm zur Folge, dass die Bedingungen für eine echte Messung nicht vorhanden sind. Vielmehr werde in der quantitativen Sozialforschung situativ auf Common Sense-Wissen Bezug genommen (Cicourel 1974, S. 28 ff.). Für eine echte Messung fehlt gemäß ihm der Bezug auf ein explizites – und damit empirisch geprüftes – Messsystem.

Wie Cicourel mit seiner Kritik an der Survey-Forschung deutlich macht, müssen bei der Durchführung von Survey-Projekten auch methodologische Herausforderungen bewältigt werden (Cicourel 1974, S. 110 ff.). Zentral ist dabei der Bezug auf ein Messsystem, welches die Befragung anleitet und Befragungsdaten sinnvoll interpretieren lässt. Es wäre folglich zu kurz gegriffen, die Survey-Praxis lediglich als Ort „praktischer“, d. h. lokal begrenzter Entscheidungen, zu betrachten. Deutlich wird dadurch, dass die Untersuchung der Koordination zwischen Auftraggebern und Auftragnehmern in Survey-Projekten weder auf rein lokale Entscheidungen reduziert werden kann, noch auf direkte Interaktionen zwischen Auftragnehmern und Auftraggebern beschränkt ist. Vielmehr wird der Fokus auf die interorganisationale Koordination zum Ausgangspunkt genommen für die Untersuchung der praktischen, über verschiedene Situationen verteilten Produktion von Survey-Daten insgesamt. Denn wie im Folgenden argumentiert wird, ist die Koordination zwischen Auftragnehmern und Auftraggebern nicht von vor- und nachlaufenden Situationen zu trennen. Ein besonderer Fokus wird bei der Untersuchung auf methodologische Überlegungen und Praktiken, d. h. die Sicherstellung des Bezugs von Daten auf ein Messsystem, gelegt. Denn wie durch diese Arbeit deutlich gemacht werden soll, lassen sich praktische Koordinationsprobleme nicht ohne den Miteinbezug von methodologischen Fragen verstehen und können in der Folge auch nicht weiter theoretisiert werden. Das Aufzeigen dieser Verbindung dient dabei jedoch nicht etwa einer Fundamentalkritik an der quantitativ ausgerichteten Soziologie. Vielmehr soll durch das Untersuchen der Bedingungen, Herausforderungen und Logiken der Survey-Praxis die Möglichkeit eines reflexiven Managements derselben ermöglicht werden.

Das empirische Untersuchen von Prozessen der surveybasierten Quantifizierung ist jedoch keineswegs neu. Vielmehr hat sich in den letzten Jahren eine Soziologie der Quantifizierung etabliert, welche die Numerifizierung als eigenen Forschungsgegenstand begründet hat (Espeland und Stevens 2008). Es waren dabei insbesondere Vertreter der Economie des conventions (kurz: EC) welche sich spezifisch für surveybasierte Quantifizierungsprozesse interessierten (Desrosières 2008b; Diaz-Bone und Didier 2016a; Salais 2012). Die EC hat sich in Frankreich als Teil der sog. „neuen französischen Sozialwissenschaften“ (Diaz-Bone 2011a, S. 10 ff.; Nachi 2006) gemeinsam mit der Actor-Network-Theory (Belliger und Krieger 2006; Latour 2008, 2007) als nachbourdieusches Forschungsprogramm etabliert. Zentral sind hierbei Fragen nach dem Zusammenhang von Werten, Koordination und Rationalität, welche aus einer pragmatischen Perspektive behandelt werden (Eymard-Duvernay et al. 2011).

Ein zentrales Entstehensmoment für diesen transdisziplinären Forschungsansatz stellen Studien zu Prozessen der Kategorisierung in der Produktion von statistischen Daten dar. Eine zentrale Figur ist dabei Alain Desrosières, welcher gerade auch durch seine Beiträge zur Soziologie der Quantifizierung zu einem zentralen Akteur für die entstehende Économie des conventions geworden ist (Didier 2014). Desrosières untersuchte beispielsweise das Handling und die Vermittlung von Statistikern und Projektleitern zwischen der Nachfrage nach „realen“ Daten und dem Ursprung von Daten in sozial konstruierten Kategorisierungslogiken. Desrosières identifizierte unterschiedliche Perspektiven auf Daten bei der statistischen Produktion zwischen methodisch orientierten Statistikern und thematisch orientierten Projektleitern in Statistikagenturen. Desrosières identifiziert hier eine Arbeitsteilung zwischen den beiden Berufsgruppen, bei welcher Statistiker Kategorien „real“ messen, welche durch die Projektleiter „konstruiert“ wurden. Dabei sind sich beide Berufsgruppen zwar der Konstruktivität der Daten bewusst. Andererseits müssen sie jedoch das öffentliche Interesse nach realen Daten befriedigen. Desrosières beschreibt dieses Dilemma der öffentlichen Statistik folgendermaßen: „‚I’m well aware (that my statistics result from conventions), yet (I believe in a reality that I am asked to quantify).‘“ (Desrosières 2009a, S. 321). Statistiker und Projektleiter müssen folglich die Spannung zwischen der gesellschaftlichen Nachfrage nach „realen“ Daten und ihrem Bewusstsein über die kontingente Natur der bei Surveys verwendeten Kategorien lösen (Desrosières 2009a). Desrosières untersuchte zudem unterschiedliche durch Surveys produzierte Wissensformate, welche mit unterschiedlichen Staatsformen einhergehen (Desrosières 2009b). Unter unterschiedlichen Wissensformaten versteht Desrosières dabei unterschiedliche soziale Logiken, welchen die Instrumente der Wissensproduktion genügen müssen. Mit Michel Foucault ließe sich hier auch von unterschiedlichen Formationsregeln des Wissens sprechen, welchen die Survey-Produktion entsprechen müssen (Foucault 2008). Desrosières zeigte hierbei auf, dass sich beispielsweise der Wohlfahrtsstaat bei der Entscheidungsfindung und für die öffentliche Repräsentation auf Arbeitsstatistiken und Surveys zu Haushaltsbudgets stützt, während beispielsweise der neoliberale Staat Benchmarks und Leistungsindikatoren einfordert (Desrosières 2009b, S. 45). Desrosières bricht mit dieser Untersuchung mit der gängigen Vorstellung, wonach Methoden „neutrale“ technische Instrumente für die Datenproduktion darstellen. Er macht deutlich, dass unterschiedliche Staatsformen systematisch verschiedene Wissensformate, d. h. unterschiedliche Wissensarten, nachfragen und dafür unterschiedlich auf Methoden zugreifen. Wichtige Beiträge zum Verständnis der surveybasierten Quantifizierung stammen auch von Laurent Thévenot, welcher beispielsweise den Bezug auf kollektive Wissensstrukturen sowohl beim Erstellen von Kategorien wie auch bei der praktischen Kategorisierung durch die verschiedenen Beteiligten der Survey-Produktion analysierte (Thévenot 1983).

Wie durch Experteninterviews mit verschiedenen Survey-Praktikern zu Beginn der Forschung deutlich wurde, existieren unterschiedliche Logiken der Survey-Produktion.⁶ So sind die Marktforschung, die akademische Survey-Forschung und die öffentliche Statistik nicht nur durch unterschiedliche Adressaten gekennzeichnet, sondern auch durch unterschiedliche Qualitätsvorstellungen im Hinblick auf Survey-Daten. Es zeigte sich dabei, dass die unterschiedlichen Qualitätsvorstellungen nicht alleine die Enddaten betreffen, sondern im Gegenteil unterschiedliche Koordinationsformen vor, während und nach der Survey-Produktion notwendig machen. Dies betrifft sowohl Auftragnehmer wie auch Auftraggeber.

Obwohl die Arbeiten der EC die soziale Konstruiertheit und den Bezug auf kollektive Wissensstrukturen bei der Produktion von surveybasierten Daten aufgezeigt haben, fehlen bis jetzt Arbeiten, welche sich mit den unterschiedlichen Qualitäts- und Koordinationslogiken der Survey-Praxis auseinandersetzen. Denn sowohl bei den Arbeiten von Desrosières wie auch bei denjenigen von Thévenot wird deutlich, dass sie sich vornehmlich mit Surveys beschäftigen, welche durch die öffentliche Statistik durchgeführt werden (Desrosières 2009b; Thévenot 1983). Dadurch bleibt jedoch ungeklärt, inwiefern unterschiedliche Qualitäts- und Koordinationslogiken den Ursprung von Koordinationsproblemen in Survey-Projekten darstellen. Die vorliegende Arbeit widmet sich deswegen der Untersuchung dieser Pluralität und deren Effekt auf die praktische Survey-Koordination. Der Grund für den Fokus auf die interorganisationale Koordination zwischen Auftragnehmer und Auftraggeber liegt dabei nicht nur darin begründet, dass diese durch Survey-Praktiker als Quelle von Koordinationsproblemen identifiziert wird. Vielmehr müssen an dieser Stelle Qualitätslogiken und Koordinationsformen durch beide Parteien expliziert werden (Desrosières 2000, S. 183) und lassen sich durch den Forscher in der Folge einfacher beobachten.

Die forschungsleitende Perspektive der vorliegenden Arbeit ist die Theorie der Produktionswelten, welche von Michael Storper und Robert Salais begründet wurde (1992). Die Theorie der Produktionswelten stellt das zweite Hauptwerk der EC dar (Diaz-Bone 2018, S. 32). Mit der vorliegenden Arbeit wird folglich direkt an die erwähnten Arbeiten der EC zur Statistik angeschlossen. Die Theorie der Produktionswelten beschreibt verschiedene Koordinationsrahmen des wirtschaftlichen Tauschs und damit einhergehende unterschiedliche Produktqualitäten und Firmenstrategien in den verschiedenen Produktionswelten. Die Produktionsweltentheorie geht damit zunächst von einer Pluralität an Qualitäts- und Koordinationsformen als Grundlagen der Survey-Koordination aus, welche auf der Basis empirischer Forschung inhaltlich bestimmt werden müssen. Zentral ist hierbei das Konzept der Konvention, welches für die EC insgesamt den zentralen theoretischen Bezugspunkt darstellt (Diaz-Bone 2018, S. 21).⁷ Das Konzept der Konvention weist jedoch Unterschiede zum alltagssprachlichen Gebrauch von „Konvention“ auf. Konventionen sind aus der Perspektive der EC soziokulturell entstandene Grammatiken für das Handeln. Die EC geht von einer grundlegenden Unsicherheit im Hinblick auf die Situationsbewältigung und von einer Unvollständigkeit von Akteuren aus. Kompetentes Handeln wird durch Akteure aus dieser Perspektive durch den Bezug auf Konventionen und Objekte als Handlungsstützen erreicht (Diaz-Bone 2018, S. 327 ff.). Konventionen stellen folglich Grammatiken bereit, welche es ermöglichen, die radikale Unsicherheit von Situationen zu überbrücken und so Koordinationsprobleme zu lösen. Sie dürfen dabei nicht mit Regeln oder Standards verwechselt werden. Denn Konventionen stellen aus der Perspektive der EC vielmehr die Basis für die sinnvolle Interpretation von Regeln und Standards dar (Favereau 1989a). Konventionen sind darüber hinaus kollektiv geteilte Handlungslogiken, welche sich anhand ihrer Reichweite, d. h. der Verbreitung, unterscheiden lassen. Aus der Perspektive der EC sind zudem in Situationen stets mehrere Konventionen als Handlungslogiken virtuell verfügbar. Nebst dem Verweis auf Konventionen als kollektiv geteilten Handlungslogiken macht die EC deswegen die pragmatische Anwendung von Konventionen als zweitem Kernkonzept der Analyse stark (Diaz-Bone 2018, S. 374 ff.). Denn durch die Pluralität an verfügbaren Konventionen muss situativ entschieden werden, welche Konvention als Handlungsgrammatik zu Rate gezogen wird und diese muss in der Folge auch als Referenz gegenüber der weiterhin bestehenden Pluralität an Konventionen durchgesetzt werden. Wie bereits erwähnt, ist dabei die Stützung auf Objekte zentral (Boltanski und Thévenot 2007, S. 303 ff.). Konventionen sollten jedoch nicht als Handlungsgrammatiken für die Bewältigung von situativen Handlungsproblemen mit lediglich geringer Tragweite missverstanden werden. Konventionen mit einer hohen Reichweite können vielmehr zu zentralen moralischen Grammatiken von Gesellschaften werden (Boltanski und Thévenot 2007; Lamont und Thévenot 2000).

Das Konzept der Konvention wurde in der Vergangenheit von Vertretern und Vertreterinnen der EC insbesondere auch für die Analyse der Qualität von Gütern verwendet. Hierbei hat sich der Begriff der Qualitätskonvention eingebürgert (Diaz-Bone 2007; Eymard-Duvernay 1989). Aufbauend auf der Annahme der radikalen Unsicherheit von Situationen wird deutlich gemacht, dass die „Qualität“ von Gütern, aber auch Dienstleistungen, nicht unabhängig von Qualitätskonventionen beurteilt werden kann (Diaz-Bone 2018, S. 141 ff.). „Qualität“ ist folglich nicht etwas, das in Gütern oder Dienstleistungen selbst vorliegt, sondern erst durch den Bezug auf eine Konvention bewertet werden kann. Infolge der Pluralität von Konventionen wird deutlich, dass das Qualitätskonzept der EC nicht einer graduellen Logik folgt. Das Qualitätsverständnis der EC unterscheidet sich damit von der alltagsweltlichen Qualitätskonzeption, wonach sich Güter oder Dienstleistungen in solche mit einer hohen und solche mit einer tiefen Qualität unterteilen lassen. Das Qualitätskonzept der EC geht vielmehr von einer Pluralität von Qualitätslogiken aus, welche untereinander inkommensurabel sind. Die Aufteilung in eine hohe und eine tiefe Qualität wird folglich erst auf der Basis einer Qualitätskonvention möglich, deren Qualitätszuschreibung jedoch kontingent ist im Vergleich zu anderen Qualitätskonventionen.

Im Gegensatz zur Qualitätsperspektive der EC gilt die Qualität von Surveys in der Survey-Methodologie immer noch als objektiv (und damit eindeutig) beurteilbar. Wie in Kapitel zwei aufgezeigt wird, hängt dies mit einem nach wie vor starken Fokus der Survey-Methodologie auf die klassische Trias der Qualitätskriterien der Objektivität, der Reliabilität und der Validität von Survey-Daten zusammen (Diekmann 2007, S. 247 ff.). Surveys werden folglich stark über deren formale und technische Qualität bewertet. Im Gegensatz dazu mangelt es an einer Diskussion in der Survey-Methodologie, welche sich darüber hinaus mit der inhaltlichen Qualität von Surveys auseinandersetzt.⁸ Dies ist erstaunlich, da in der Survey-Methodologie selbst unterschiedliche Anwendungskontexte von Surveys beschrieben werden (Schnell 2012, S. 367 ff.). Aus der Perspektive der EC wird hingegen deutlich, dass sich die (inhaltliche) Qualität von Surveys erst durch den Bezug auf unterschiedliche Wissensformate feststellen lässt. Survey-Qualität lässt sich folglich aus dieser Perspektive unmöglich alleine formal mit Blick auf die erwähnten klassischen Qualitätskriterien bewerten, sondern kann erst durch den Bezug auf unterschiedliche Wissensformate festgestellt werden. Deutlich wird damit der Bezug auf die Arbeiten von Dewey zur Logik der Forschung (Dewey 2008). Dewey argumentiert gegen ein klassisches a priori-Verständnis von Logik. Diese ist gemäß Dewey folglich nicht etwas, was sich durch rein gedankliche Anstrengungen erschließen lässt. Logik als Rahmenbedingung der Forschung muss sich vielmehr aus dem Prozess der Forschung selbst entwickeln und ist dadurch auch unmittelbar durch Entwicklungen im Forschungsprozess beeinflusst. Die vorliegende Arbeit hat sich deswegen zum Ziel gesetzt, die unterschiedlichen Wissensformate von Surveys zu identifizieren und zu analysieren. Die Theorie der Produktionswelten wird als Grundlage für die Erforschung dieser Formate gewählt, da sie von einem engen Verhältnis zwischen der Qualität von Produkten, d. h. hier Surveys und Koordinationsprozessen während der Survey-Produktion ausgeht (Storper und Salais 1997, S. 332 ff.). Die Entstehung von Survey-Qualität ist dieser Perspektive folgend keine Eigenschaft, welche beispielsweise alleine bei der Definition der Survey-Fragen oder bei der Nutzung von Survey-Daten entschieden wird. Survey-Qualität ist vielmehr untrennbar mit dem Produktionsprozess verwoben und muss praktisch über verschiedene Stationen des Produktionsprozesses hervorgebracht werden.

Die Identifikation und Analyse der verschiedenen in der Survey-Praxis zu findenden und auf den verschiedenen Wissensformaten aufbauenden Qualitäts- und Koordinationslogiken stellt den ersten Beitrag der vorliegenden Arbeit zum Verständnis von Survey-Qualität dar. Unterschieden wird in der Folge zwischen verschiedenen sog. Survey-Welten, welche idealtypische Orientierungspunkte für die Survey-Praxis darstellen. Die unterschiedlichen Logiken der Survey-Produktion werden als „Welten“ bezeichnet, da sie objektbasiert sind und verschiedene Konventionen zu einer umfassenden Handlungsgrammatik für die Survey-Produktion vereinen. Die Rekonstruktion der verschiedenen Qualitätslogiken der Survey-Praxis geht dabei mit einer methodologischen Indifferenz einher (Garfinkel und Sacks 1976, S. 138 f.). Die durch die Survey-Methodologie formulierten Qualitätskriterien für die Survey-Forschung werden folglich eingeklammert und selber als Gegenstand der empirischen Forschung betrachtet.

Wie dargestellt werden wird, gehen die verschiedenen Survey-Welten mit einem unterschiedlichen Zugriff auf das Empirische einher. Damit sind nicht zwingend grundlegend unterschiedliche Empiriekonzepte gemeint, wie sie beispielsweise von Wolfgang Bonß im Hinblick auf den Positivismusstreit beschrieben werden (Bonß 1982).⁹ Vielmehr soll mit dem Konzept der Survey-Welten auf die grundlegende Beobachterabhängigkeit des Empirischen verwiesen werden (Berger und Luckmann 2007, S. 139 ff.). Von dieser Beobachterabhängigkeit ausgehend werden systematisch unterschiedliche (praktische) Zugänge zur Survey-Forschung und damit auch zum „Empirischen“ als Grundlage von Surveys beschrieben.

Der zweite Beitrag der vorliegenden Arbeit für die Qualitätsdiskussion in der Survey-Methodologie liegt im Aufzeigen der spezifischen Herausforderungen der Survey-Praxis. Denn aus Sicht der Produktionsweltentheorie ist die Praxis durch einen Kompromiss zwischen verschiedenen Qualitäts- und Koordinationslogiken gekennzeichnet (Storper und Salais 1997, S. 77 ff.). Die daraus entstehenden Spannungen und Probleme müssen durch Praktiker in einen tragfähigen Kompromiss zwischen verschiedenen Welten umgesetzt werden.¹⁰ Es ist genau diese Notwendigkeit zum Kompromiss, welche die Survey-Praxis als eigenständiges Arbeitsgebiet bei der Survey-Produktion auszeichnet. Um dem Anspruch einer umfassenden Praxisperspektive gerecht werden zu können, wird die auf der Produktionsweltentheorie aufbauende Kompromissperspektive einer empirischen Anwendung unterzogen. Anhand zweier Fälle in Form unterschiedlicher Survey-Projekte wird der Kompromissbildung zwischen verschiedenen Logiken in der Survey-Praxis nachgespürt. Die beiden untersuchten Fälle stellen dabei aus der Perspektive der Produktionswelten kontrastierende Fälle im Hinblick auf deren produktionsweltliche Orientierung dar (vgl. zur Begründung der Fallauswahl Abschn. 4.​4).

Die methodische Anlage der empirischen Untersuchung ist folglich in zwei forschungslogische Schritte getrennt. Zunächst werden verschiedene Logiken der Survey-Produktion (Survey-Welten) identifiziert und systematisiert. Daran anschließend wird die Verwendung und der Bezug auf die verschiedenen Logiken der Survey-Produktion in der Survey-Praxis am Beispiel von zwei Survey-Projekten untersucht. Diese Forschungsanlage lässt sich direkt auf die methodologische Position der EC beziehen, welche sich sowohl auf pragmatische wie auch auf strukturalistische Theorieelemente bezieht (Diaz-Bone 2018, S. 367 ff.). Der erste Forschungsschritt dient dazu, idealtypisch unterschiedliche Survey-Welten zu identifizieren und zu systematisieren. Hierfür wurden zunächst insgesamt elf Experteninterviews mit Survey-Methodologen und Survey-Praktikern durchgeführt.¹¹ Das Ziel lag hierbei in einer Exploration von Qualitätsvorstellungen und Koordinationsprozessen in der Survey-Praxis. Diese Interviews wurden im Verlauf der Forschung mit verschiedenen ethnografischen Beobachtungen ergänzt. Ethnografische Beobachtungen wurden während Koordinationssitzungen zwischen Auftraggebern und Auftragnehmern in Survey-Projekten durchgeführt und auch direkt während Prozessen der Survey-Produktion bei verschiedenen Survey-Firmen. Die ethnografischen Beobachtungen während Koordinationsprozessen zwischen Auftraggebern und Auftragnehmern wurden zudem durch Beobachtungen von telefonischen Befragungen ergänzt. Eine zusätzliche Quelle von Datenmaterial während dieses ersten Forschungsschritts stellten auch verschiedene Dokumente dar. Beispiele hierfür sind Richtlinien von Verbänden, Reglemente über die Zusammenarbeit von staatlichen Stellen mit privatwirtschaftlichen Survey-Firmen, Verträge von verschiedenen Survey-Projekten etc. Anhand dieser Datenbasis wurden mittels einer theoriebasierten Heuristik verschiedene Survey-Welten identifiziert und im Hinblick auf verschiedene Dimensionen der Survey-Produktion systematisiert. In einem zweiten Schritt wurde die Survey-Praxis auf der Basis zweier unterschiedlicher Survey-Projekte analysiert. Hierbei war es das Ziel, die praktische Anwendung der verschiedenen im ersten Schritt identifizierten Survey-Logiken sowie die Kompromissbildung zwischen verschiedenen Logiken zu untersuchen. Damit wird das pragmatische Interesse der EC eingelöst, welche das praktische Prozessieren von Handlungslogiken, das situative Anwenden und die Kompromissschließung zwischen verschiedenen Handlungslogiken in das Zentrum des Forschungsinteresses stellt (Diaz-Bone 2018, S. 332 ff.). Die Datengrundlage für diesen zweiten Forschungsschritt stellten ethnografische Beobachtungen von Koordinationssitzungen zwischen Auftraggebern und Auftragnehmern, Interviews mit an den Survey-Projekten beteiligten Personen und verschiedene Dokumente der untersuchten Survey-Projekte wie Offerten¹², Verträge und Berichte dar, zusätzlich aber auch branchenspezifische Vorgaben und Richtlinien. Im Verlauf der Forschung zeigte sich, dass sich die Survey-Praxis als Kompromiss zwischen methodischen Fragestellungen, dem Survey-Management, d. h. der Bereitstellung und der Koordination von verschiedenen Ressourcen für die Survey-Produktion und unterschiedlichen Wissensformaten verstehen lässt. Diese Konzeptualisierung von Survey-Praxis wird unter dem Begriff der Survey-Pragmatik in Abschn. 2.​5.​5 ausgeführt. Die Survey-Pragmatik entwickelte sich während der Forschung zum leitenden Forschungsrahmen für den zweiten Forschungsschritt. Die Daten der beiden Survey-Projekte wurden in der Folge auf die Kompromissschließung zwischen den verschiedenen Dimensionen der Survey-Pragmatik hin befragt und analysiert.

Mit dem Beizug der Produktionsweltentheorie wird deutlich, dass hier keine rein survey-methodologische Arbeit angestrebt wird. Vielmehr werden insbesondere auch organisations-, wirtschafts- und wissenschaftssoziologische Thematiken und Argumente verfolgt.¹³ Denn wie aufgezeigt werden soll, lässt sich beispielsweise die Funktionsweise von Survey-Märkten oder Survey-Firmen nicht von den unterschiedlichen Qualitätskonzepten der verschiedenen Produktionswelten trennen. Zugleich darf der Fokus der vorliegenden Arbeit auf die Survey-Forschung nicht darüber hinweg täuschen, dass mit der vorliegenden Arbeit zwar die Survey-Forschung im Spezifischen untersucht wird, jedoch die untersuchten Mechanismen der über Märkte¹⁴ vermittelten und folglich distribuierten Produktion von unterschiedlichen Wissensformaten die moderne Wissensproduktion als Gesamtes betrifft. Die hier erarbeiteten Resultate betreffen folglich nicht alleine die Survey-Forschung als sozialwissenschaftliche Methode, sondern lassen sich generell auf distribuierte Prozesse der Wissensproduktion beziehen. Zu nennen ist hier zunächst die Unternehmens- oder Managementberatung. Denn analog zu Surveys finden auch hier distribuierte Prozesse der Wissensproduktion statt, welche minimal zwischen Auftraggeber und Auftragnehmer aufgeteilt sind. Zudem lassen sich auch im Bereich der Beratung unterschiedliche produktionsweltliche Koordinationsformen identifizieren. Survey-Welten lassen sich aber beispielsweise auch auf die Produktion von Big-Data und deren gesellschaftliche Nutzung beziehen. Denn auch Big-Data-Methoden müssen sich an unterschiedlichen Nutzungskontexten ausrichten. So wird beispielsweise in der Folge des Aufkommens von Big-Data-Methoden der Wissensproduktion aktuell in den Sozialwissenschaften intensiv über die zukünftige Relevanz der akademisch ausgerichteten empirischen Sozialforschung diskutiert (Savage und Burrows 2007, 2009; Philipp 2017). Der Beizug der Survey-Welten-Perspektive kann hierbei helfen, unterschiedliche Anwendungskontexte, einerseits von Big-Data, andererseits aber auch der akademischen Sozialforschung, zu spezifizieren. Denn beispielsweise im Hinblick auf die Nutzung von Big-Data für staatliche Steuerungsbegehren besteht fraglos die Problematik des Bezugs auf staatliche Kategorien, bzw. allgemeiner, Kategorien des öffentlichen Diskurs (Diaz-Bone 2017a).

Die Arbeit ist wie folgt aufgebaut: Im zweiten Kapitel wird die Qualitätsdiskussion in der Survey-Methodologie aufgearbeitet. Unterschieden wird hierbei zwischen einer Daten- und einer Prozessperspektive auf Survey-Qualität. Während die Datenperspektive Survey-Qualität primär als Datenqualität versteht, ist aus Sicht der Prozessperspektive auch die Anwendungs- und Nutzungssituation von Survey-Daten ein Faktor von Survey-Qualität. Deutlich wird jedoch, dass beide Perspektiven auf Survey-Qualität aus der Perspektive der EC unvollständig sind. Denn es fehlt hier der Miteinbezug von Wissensformaten, welche die Grundlage für Survey-Qualität der verschiedenen Survey-Welten darstellen. Das Kapitel dient folglich insgesamt der Einordnung des Forschungsinteresses durch den Bezug der Forschung auf verschiedene etablierte Konzeptionen von Survey-Qualität. Daran anschließend wird in Kapitel drei die Produktionsweltenperspektive dargestellt, welche um die Perspektive der Rechtfertigungsordnungen (Boltanski und Thévenot 2007), der Regime des Engagements (Thévenot 2011d), der Global-Value-Chain-Forschung (Gibbon et al. 2008), der Distributed Cognition (Hutchins 1996) und der Workplace Studies (Luff et al. 2000b) ergänzt und komplettiert wird. Dargestellt wird in diesem Kapitel die spezifische Perspektive auf die Kernaspekte „Qualität“ und „Koordination“ der vorliegenden Arbeit. Die Erarbeitung der theoretischen Grundlage ermöglicht es, am Ende des Kapitels eine Spezifizierung des Forschungsinteresses vorzunehmen (vgl. Abschn. 3.​4). In Kapitel vier werden die methodologischen Grundlagen der Forschung und die methodische Vorgehensweise bei der empirischen Arbeit beschrieben. Neben den methodologischen Grundlagen der Forschungsstrategie werden hier die beiden bereits beschriebenen Forschungsschritte reflektiert. Zudem wird der Prozess der Datenerhebung dargestellt. In Kapitel fünf wird ein Überblick über die vier identifizierten Survey-Welten präsentiert. Denn trotz der Grundlage der Produktionsweltentheorie muss eine Passung der Produktionsweltentheorie zum Gegenstand der Survey-Produktion hergestellt werden. Das Kapitel wird durch ein Unterkapitel zum Schweizer Survey-Feld eingeleitet. Das Ziel liegt hier darin, dem Leser und der Leserin einen Einblick in die spezifischen Eigenheiten und Voraussetzungen der Survey-Produktion zu geben. Die vier identifizierten Survey-Welten dienen in Kapitel sechs als Grundlage für die Analyse von zwei verschiedenen Survey-Projekten. Ein Fokus wird bei der Analyse auf Konflikte und Kompromisse gelegt, welche sich aus der Survey-Praxis ergeben. Die daraus entstehenden Erkenntnisse werden in Kapitel sieben verallgemeinert. Thematisiert werden hier in einem ersten Unterkapitel zunächst Dynamiken von Survey-Welten, d. h. Veränderungsprozesse in der survey-weltlichen Koordination und Qualitätsauffassung. Anschließend wird in einem zweiten Unterkapitel durch die Behandlung der Frage danach, inwiefern Surveys Produkte sind, eine vertiefte Analyse der Funktionsweise des Survey-Marktes vorgenommen. Im nächsten Unterkapitel wird eine Kritik der Qualitätskriterien der Prozessperspektive vorgenommen. Diese werden auf ihre survey-weltlichen Bedeutungen und Konsequenzen hin befragt und kritisiert. Im letzten Unterkapitel wird eine Systematisierung von Koordinationsproblemen in der Survey-Praxis aus der Survey-Welten-Perspektive vorgenommen. Dargestellt wird hier, wie verschiedene Koordinationsprobleme in der Survey-Praxis nicht lediglich auf situative Missverständnisse zurückgeführt werden können und folglich lokal begrenzt sind, sondern das Resultat von systematisch unterschiedlichen, survey-weltlichen Qualitäts- und Koordinationslogiken sind.

In Kapitel acht wird zunächst eine Schlussbetrachtung zur empirischen Arbeit vorgenommen. Hier wird in sechs Schritten der Beitrag dieser Arbeit zur Survey-Methodologie zusammengefasst. Zunächst wird in einem ersten Schritt die Erforschung der verschiedenen Survey-Welten als unterschiedlicher Koordinationsformen der Survey-Praxis rekapituliert. Survey-Welten bauen folglich auf verschiedenen Handlungslogiken auf, welche als Grundlage für die Organisation der Survey-Praxis dienen. In einem zweiten Schritt wird darauf aufbauend deutlich gemacht, dass diese Pluralität an Logiken der Survey-Produktion ebenfalls unterschiedliche Qualitätskriterien notwendig macht, welche als Orientierungspunkte für die Survey-Produktion dienen. Deutlich wird hierbei, dass der aktuelle Stand der Diskussion um Qualitätskriterien in der Survey-Methodologie, welche über die klassischen Kriterien der Objektivität, der Reliabilität und der Validität hinausgehen (Diekmann 2007, S. 247 ff.), aus der Perspektive der Survey-Welten unbefriedigend ist. Denn in der Diskussion um Qualitätsstandards und -kriterien wird stets von einer Einheit der Survey-Produktion ausgegangen, was jedoch in einem Widerspruch zur aufgezeigten Pluralität von Survey-Logiken steht. In einem dritten Schritt wird für eine nicht-reduktionistische Konzeption von Survey-Qualität plädiert. Denn aus der Perspektive der Survey-Welten-Theorie ist Survey-Qualität stets ein Kompromiss aus methodischen Entscheidungen, Anforderungen des Survey-Managements und schlussendlich Anforderungen der Wissensproduktion, d. h. unterschiedlichen Wissensformaten. Viertens wird in Folge der empirischen Arbeiten argumentiert, dass die Kategorisierung der Survey-Forschung in eine universitäre Survey-Forschung, die öffentliche Statistik und die Marktforschung einerseits unvollständig ist und andererseits den Kompromisscharakter von Survey-Projekten zwischen verschiedenen Logiken der Survey-Produktion unterschätzt. Es wird folglich von einer einheitlichen Logik von Survey-Projekten ausgegangen, welche jedoch nicht der Praxis der Survey-Produktion entspricht. In einem fünften Schritt wird die weitgehend fehlende Problematisierung des Entstehensprozesses von Erhebungskategorien in der Survey-Forschung kritisiert. Wie sich bei der Untersuchung der beiden Fälle jedoch zeigte, stellt dieser Prozess ein Schlüsselmoment des Bezugs auf survey-weltliche Handlungslogiken dar. Eine fehlende Sensitivität im Hinblick auf diesen Prozess kann deswegen den Erfolg der surveybasierten Wissensproduktion gefährden. Im letzten Schritt wird der Vorschlag einer stärkeren Vertraglichung der Beziehung zwischen Auftraggebern und Auftragnehmern in Survey-Projekten zur Lösung von Koordinationsproblemen einer kritischen Diskussion unterzogen. Hierbei zeigt sich, dass Verträge in den verschiedenen Survey-Welten eine unterschiedliche Ressource darstellen. Zudem müssen aus der Perspektive der EC auch Verträge interpretiert und so auf survey-weltliche Handlungslogiken bezogen werden.

Im Fazit wird argumentiert, dass aus der Survey-Welten-Perspektive der Bruch mit der Annahme einer einheitlichen Survey-Methodologie zentral ist, um die Survey-Methodologie näher an praktische Koordinationsprobleme heranführen zu können. Das Fazit wird mit einem Ausblick auf zukünftige Forschungsperspektiven abgeschlossen. Zukünftiger Forschungsbedarf der Survey-Forschung wird dabei in einer vertieften Auseinandersetzung mit der survey-welt-spezifischen Rezeption von methodischen Grundlagen identifiziert.

Nach dem Fazit wird im Postscriptum ein Ausblick für die zukünftige empirische Erforschung der Survey-Produktion entwickelt. Obwohl der Fokus der empirischen Forschung primär auf der interorganisationalen Koordination liegt, so wird doch an einigen Stellen auch die Befragungssituation selbst thematisiert. Besonders deutlich zeigt sich dabei die Problematik der Übersetzung der Praktiken und Lebensverhältnisse der Befragten in die Kategorien der Befragung. Die Notwendigkeit solcher Übersetzungsleistungen zwischen unterschiedlichen Handlungslogiken, wie aber auch daraus entstehende Probleme und Koordinationsschwierigkeiten, wird durch die Theorie der Regime des Engagements von Laurent Thévenot thematisiert (Thévenot 2011c, 2011d). Zentral ist dabei die Feststellung von Thévenot, dass nicht jede Handlung durch Konventionen strukturiert ist. Es existieren gemäß Thévenot auch Handlungen, welche ohne den Bezug auf Konventionen auskommen. Im Ausblick wird das Potenzial dieser Theorie für die Untersuchung von Survey-Prozessen diskutiert. Dabei werden an zwei Stellen Anregungen für eine Weiterentwicklung und Systematisierung dieser Theorie entworfen. Zunächst wird argumentiert, dass es an einer Systematisierung der Relationen zwischen den verschiedenen von Thévenot beschriebenen Handlungslogiken (Regimen des Engagements) fehlt. Deswegen wird an dieser Stelle eine Systematisierung skizziert. Weiter wird eine fehlende Systematisierung der Relationen dieser Handlungslogiken zu Konventionen festgestellt. Anschließend wird auch hier eine Systematisierung vorgeschlagen.