2. Perspektiven auf Survey-Qualität

Der Wissenschaftstheoretiker Bas Van Fraassen kritisiert die Auffassung von Messung als Darstellung von Realität anhand einer Messapparatur. Diese greift gemäß ihm zu kurz, da erst der Bezug der Resultate einer Messapparatur auf ein (soziales begründetes) Messsystem eine Messung darstellt. Denn das Ziel der Messung liegt in der Produktion von Information, welche mit der alleinigen Zuteilung von Zahlen zu Messobjekten noch nicht gegeben ist. Erst der Bezug von Messdaten auf ein Messsystem produziert folglich Information (van Fraassen 2008, S. 181). Ein Messsystem stellt dabei gemäß van Fraassen einen logischen Raum dar, auf welchen Messresultate, d. h. die Produkte von Messapparaturen, bezogen werden (van Fraassen 2008, S. 2). Messtheoretisch lassen sich so drei Dimensionen einer Messung unterscheiden: Die der sozialen Realität, die der Messapparatur und diejenige des Messsystems. Im Hinblick auf die Wissensgenerierung mittels Surveys bedeutet dies, dass es nicht die Zuteilung von Zahlen zu Antworten ist, welche Information produziert, sondern vielmehr der Bezug dieses Prozesses auf ein Messsystem.

Obwohl aus einer anderen Wissenschaftstradition kommend, teilt Aaron Cicourel die Auftrennung einer Messung in drei Dimensionen (1974, S. 18 ff.).²³ Eine zentrale Eigenheit von Messsystemen ist gemäß ihm die Bildung von Äquivalenzklassen durch Messsysteme. Die Ausgangslage vor der Messung ist ein Sammelsurium an unterschiedlichen Messgegenständen. Erst durch den Bezug auf ein Messsystem werden Relationen zwischen den Messgegenständen und so Äquivalenzklassen gebildet (Cicourel 1974, S. 45 ff.). Eine Form von Messsystemen stellen folglich sozialwissenschaftliche Theorien dar, da diese zwischen verschiedenen Formen von Handlung unterscheiden und so Äquivalenzklassen bilden. Der Bezug auf explizite, ausformulierte Theorien ist jedoch keine zwingende Bedingung von Messung. Cicourel unterscheidet zwischen expliziten und impliziten Messsystemen (Cicourel 1974, S. 21 ff.). Während explizite Messsysteme ihre Bildung von Äquivalenzklassen explizieren und somit offenlegen, basiert die Kategorisierung von Messgegenständen bei impliziten Messsystemen auf impliziten Annahmen und ad-hoc-Entscheiden. Auf der Basis dieser Trennung nimmt er eine Radikalkritik der sozialwissenschaftlichen Messpraxis vor. Er kritisiert, dass sich die Sozialwissenschaften an einem naturwissenschaftlichen Messmodell orientieren, ohne über eine vergleichbare explizierte Theorie des Messens zu verfügen, d. h. ein expliziertes Messsystem. Dies führt gemäß Cicourel dazu, dass Sozialwissenschaftler während des Messprozesses teilweise auf Common Sense-Wissen zurückgreifen. Dadurch besteht aber die Problematik, dass der Messprozess in diesem Fall auf unexplizierten Annahmen basiert und so nicht einem strengen (naturwissenschaftlichen) Verständnis des Messprozesses entspricht. Der Messgegenstand (das Soziale) und das Messsystem sind durch den Bezug auf Common Sense-Wissen von Forschenden nicht klar getrennt, was eine Messung im strengen Sinn gemäß Cicourel verunmöglicht (Cicourel 1974, S. 28). Cicourel erwähnt in diesem Zusammenhang zwei Beispiele aus der quantitativen Sozialforschung. Einerseits verweist er mit Bezug auf Arbeiten von Paul Lazarsfeld auf das Problem des Umgangs mit Indikatoren.²⁴ Cicourel kritisiert hier, dass in der von ihm zitierten Schrift von Lazarsfeld keine Theoretisierung der Auswahl von Indikatoren vorzufinden sei. Zudem werde zwar ausgeführt, wie verschiedene Indikatoren zusammengefasst werden können, Cicourel vermisst jedoch darüber hinaus eine Explikation des Zusammenwirkens der verschiedenen Indikatoren. Für Cicourel wird deswegen deutlich, dass die quantitative Sozialforschung die Bedeutung und das Zusammenspiel der verschiedenen Indikatoren nicht durch eine strenge Messtheorie fundiert, sondern durch den konstanten Rückgriff auf Common Sense-Wissen (Cicourel 1974, S. 36). Ein vergleichbares Problem sieht Cicourel auch in der Konzeption der Befragungs- als Messsituation. Als Diskussionsgegenstand wählt Cicourel hier wiederum ein Beispiel von Lazarsfeld, den Kauf von Kosmetika. In dessen Ausführungen wird ersichtlich, wie methodologische Fragestellungen der Klassifizierung dieses Prozesses wiederum durch den Rückgriff auf Common Sense-Wissen gelöst werden, was für Cicourel auf das Fehlen einer exakten Messtheorie hinweist (Cicourel 1974, S. 35 ff.).

Gemäß Cicourel ist die Problematik des Rückgriffs auf Common Sense-Wissen ein generelles Problem der verschiedenen, den Sozialwissenschaftlern zu Verfügung stehenden Forschungsmethoden. Mit Blick auf Interviews macht er deutlich, dass die Hybridität eine grundlegende Herausforderung von Interviewsituationen darstellt. Einerseits stellt sie eine Messsituation dar, in welcher standardisiert Daten erhoben werden. Andererseits stellt sie auch eine soziale Situation dar, indem in ihr ein Wissensaustausch auf der Basis von Sprache stattfindet (Cicourel 1974, S. 112). Für ein besseres Verständnis von deren Zusammenspiel fordert Cicourel verstärkte empirische Forschungen zur Interviewsituation (Cicourel 1974, S. 119 f.).

Im Hinblick auf die standardisierte schriftliche Befragung beschreibt Cicourel drei Anforderungen an einen guten Fragebogen: Dieser muss sowohl der Perspektive des Handelnden im täglichen Leben, wie auch der Perspektive des Interviewers entsprechen, aber auch den Regeln der Übertragung der getätigten Aussagen in theoretische Aussagen. Cicourel macht dadurch deutlich, dass das Erstellen von Fragebögen ohne ein detailliertes Common Sense-Verständnis der beforschten Gruppe nicht möglich ist (Cicourel 1974, S. 158 ff.).

Insgesamt sieht Cicourel die sozialwissenschaftliche Messung als ein sprachtheoretisches Problem an. Erst ein grundlegendes Sprachverständnis der Befragten ermöglicht folglich eine Messung in engerem Sinn. Cicourel kritisiert dabei ein Sprachbedeutung und Grammatik gleichsetzendes Sprachverständnis. Grammatikalisch korrekte Sätze erzeugen noch nicht per se auch sinnvolle Sätze. Und die Verwendung einer korrekten Grammatik – beispielsweise bei standardisierten schriftlichen Befragungen – bewirkt alleine noch kein einheitliches Verständnis der Fragen durch verschiedene Befragte (Cicourel 1974, S. 247). Zentral für die soziologische Messung ist für Cicourel folglich der sprach- und damit bedeutungssensitive Umgang mit Fragen und Antworten:

Der Soziologe kann es sich zum Beispiel beim Interviewen nicht leisten, seine eigene Sprache aus der Perspektive eines einheimischen Sprechers zu behandeln, sondern er muss die Position eines Geheimschriftanalytikers annehmen, der an eine fremde Sprache herantritt (Cicourel 1974, S. 248).

Für eine standardisierte Messung fehlt gemäß Cicourel insgesamt eine Theorie, welche die interpretativen Regeln des Befragten aufzeigt. Fehlt eine solche theoretische Grundlegung des Handelns wie auch der Beantwortung von Fragebögen, so ist die präzise Abbildung von Handeln durch Messen unmöglich, da die Kategorien des Handelns in einem solchen Fall inkompatibel mit den Kategorien der Messung sind (Cicourel 1974, S. 296). Zudem müsste eine umfassende Messung auch Irrationalitäten und Zufälligkeiten messen können (Cicourel 1974, S. 297). Fehlt die von Cicourel geforderte umfassende theoretische Grundlegung des soziologischen Messens, so diagnostiziert er der soziologischen Forschung zu einem „geschlossenen Unternehmen“ zu werden, welches sich um die eigenen Kategorien, anstatt um diejenigen des Forschungsgegenstandes dreht (Cicourel 1974, S. 317). Sichtbar wird dadurch, dass das von Cicourel dargestellte Messproblem der Sozialwissenschaften nicht lediglich ein technisches und damit methodisches Problem, sondern vielmehr ein grundlegendes erkenntnistheoretisches Problem darstellt (Eberle 2001, S. 83).

Ein neuer sozialwissenschaftlicher Ansatz, welcher eine reflexive Perspektive auf die soziale Einbettung von Methoden einnimmt, wurde von Mike Savage, Evelyn Ruppert und John Law unter dem Programm „Social Life of Methods“ angestoßen. Das Programm kann jedoch auch als Bezeichnung verstanden werden für verschiedene Ansätze, welche sich mit dem sozialen Ursprung und den sozialen Folgen von sozialwissenschaftlichen Methoden auseinandersetzen. Surveys stellen gemäß dieser Perspektive demzufolge nicht lediglich neutrale technische Messinstrumente dar, sondern sind selber sozial eingebettete und Soziales produzierende Instrumente. Diese können in der Folge als soziale Phänomene eigener Art untersucht werden.²⁵

Savage, Ruppert und Law sprechen hierbei von einem doppelten sozialen Leben von Methoden: Einerseits sind Methoden sozial eingebettet, wie dies auch Science, Technology and Society-Studien (STS) gezeigt haben (Knorr Cetina 2002a; Latour und Woolgar 1986). Law et al. verweisen beispielsweise auf den Ursprung der Ethnographie in der Zeit des Kolonialismus, um die kolonialisierten Menschen qualitativ zu untersuchen. Ein Beispiel für die soziale Einbettung von Methoden stellt auch die Studie zu den Führungskräften (Den Kadern oder franz. „cadres“) von Luc Boltanski dar (1990). Boltanski untersuchte hier die Entstehung der Kategorie der Führungskräfte, welche mittlerweile eine etablierte Kategorie für Arbeitnehmer in Führungspositionen in Frankreich und auch der Schweiz darstellt. Er konnte nachweisen, dass die Kategorie der Führungskräfte, nicht lediglich das Produkt einer „neutralen“ Klassifikationspraxis von Sozialwissenschaftlern und Statistikern darstellt. Vielmehr ist sie das Ergebnis einer langjährigen Repräsentationsarbeit an dieser Kategorie durch Vertreter dieser Gruppe.

Andererseits wirken Methoden performativ zurück auf das Soziale, das sie eigentlich lediglich zu beschreiben vorgeben (Law et al. 2011, S. 4).²⁶ Ein Beispiel hierfür stellt die Untersuchung „Identities and social change in Britain since 1940“ von Savage dar (2010). Dieser macht die Feststellung, dass durch die wiederholte Befragung der Bevölkerung durch Sozialwissenschaftler die sozialwissenschaftlichen Kategorien der Forscher von den Befragten zunehmend für die Selbstkategorisierung verwendet wurden. Dies zeigte sich bei folgenden Befragungen darin, dass Befragte selbst aktiv und reflexiv auf ihre Einteilung in sozialwissenschaftliche Kategorien Bezug nahmen. Die durch die Forscher ursprünglich verwendeten Kategorien stellten in der Folge nicht mehr lediglich sozialwissenschaftliche Beobachtungskategorien dar, sondern wurden durch einen performativen Effekt der Sozialwissenschaften zu öffentlichen Kategorien (Savage 2010, S. 240 ff.).²⁷ Law et al. sprechen hier mit Bezug auf die Arbeiten von Annemarie Mol (2002, S. viii) von ontologischen Politiken von Methoden (2011, S. 12 f.). Savage et al. sehen im Forschungsprogramm des Social Life of Methods das Untersuchen der Verschiebung der Grenzen zwischen dem Impliziten und dem Expliziten (Savage 2013, S. 17). Geklärt werden soll folglich, welche impliziten Mechanismen Methoden durch das Explizieren von Daten mit sich bringen.

Law et al. plädieren deswegen dafür, Methoden nicht nur den „Technikern“ zu überlassen, da Methoden durch die Konstituierung von ontologischen Politiken eminent politische Anliegen betreffen (Law et al. 2011, S. 12 f.). Ontologische Politiken können dabei verstanden werden als Art, in welcher Probleme und Fragestellungen gerahmt werden. Methoden konstituieren folglich mit, wie über das Soziale gedacht wird und insbesondere auch, wie das Soziale kategorisiert wird. Deutlich wird durch das Forschungsprogramm der „Social life of methods“, dass es naiv wäre, methodische Fragestellungen als rein technische Fragen zu behandeln. Insbesondere Fragen der Kategorisierung haben untersuchbare soziale Ursprünge und wirken selbst performativ auf das Soziale zurück. Diese Prozesse können zum Gegenstand empirischer Forschung gemacht werden.

In den folgenden Absätzen wird die Perspektive der EC auf die Produktion von statistischem Wissen erarbeitet. Sichtbar wird dadurch, dass der EC eine doppelte Funktion für diese Arbeit zukommt. Einerseits stellt sie, wie in Kap. 3 ausführlich dargestellt wird, die grundlegende theoretische Perspektive dar. Zugleich stellt sie jedoch auch einen Bezugspunkt für die Spezifikation des Forschungsinteresses dar, da aus der EC selbst wichtige Beiträge zur Quantifizierung stammen.

Die EC entwickelte sich als Forschungsperspektive ab den späten 1970er Jahren im Raum Paris.²⁸ Ein frühes Thema stellten dabei Studien zur Statistik und zur Statistikproduktion dar. Daraus entwickelte sich mit der Zeit eine eigenständige Forschungsperspektive (Diaz-Bone 2011a, S. 18 ff.).²⁹ Wichtige Impulse erhielt die EC von dem französischen Statistiker und Soziologen Alain Desrosières. Eine wichtige und vielzierte Studie von Desrosières beschäftigt sich mit dem Zusammenhang zwischen verschiedenen Staatskonzeptionen und den dabei zur Anwendung gekommenen statistischen Kennzahlen und Methoden (Desrosières 2009b). Deutlich wird hier, dass verschiedene Staatskonzeptionen,³⁰ wie beispielsweise der Wohlfahrtsstaat oder der neoliberale Staat, unterschiedliche Statistiken produzieren und nutzen. Der Wohlfahrtsstaat setzt beispielsweise auf die Darstellung von Arbeitsstatistiken, Löhnen, Arbeitslosigkeitsraten und Konsumpreisindexen. Der neoliberale Staat hingegen setzt maßgeblich auf den Vergleich zwischen unterschiedlichen Akteuren mittels Benchmarking. Zentral ist dabei gemäß Desrosières die Objektivierung, das heißt die Entpolitisierung der Erstellung von Statistiken.³¹ Statistiken werden so zu scheinbar objektiven, unhinterfragbaren Tatsachen. Wie Desrosières mit dieser Untersuchung aufzeigen konnte, sind Statistiken folglich keine neutralen Abbildungen einer objektiven Realität. Sie reflektieren in diesen Fällen vielmehr auch unterschiedliche Staatskonzeptionen, welche also die Messung mitformatieren. Statistiken sind folglich auf ihre Funktion und ihre Herkunft hin analysierbar (Desrosières 1979, S. 48), da zwischen ihnen und der zu messenden Realität kollektive Handlungslogiken die Messung organisieren. Desrosières bezeichnet diese kollektiven Handlungslogiken als Äquivalenzkonvention (Desrosières 2005, S. 263 ff.).³² Denn wie Desrosières deutlich macht, ermöglicht der Bezug auf Konventionen das Herstellen von Äquivalenzen zwischen vormals lediglich singulären Messobjekten. Es ist folglich der Bezug auf eine Konvention, welche eine Vergleichbarkeit zwischen den vorher unvergleichbaren Messobjekten einführt und so die Bildung von Äquivalenzen ermöglicht. Es lässt sich deswegen schlussfolgern, dass Messung Wissen erst durch den Bezug auf eine Konvention produziert (Diaz-Bone 2018, S. 335). Sichtbar wird dadurch, dass es auch der Bezug von Messobjekten auf ein Messsystem (eine Äquivalenzkonvention) ist, der eine wichtige Qualitätsebene für Statistik-Konsumenten darstellt.³³ Die Qualität von Surveys wird aus einer solchen Perspektive nicht lediglich durch den Bezug von Antworten auf eine Befragungsapparatur bewertet, sondern insbesondere auch durch den Bezug der generierten Befragungsdaten auf eine spezifische Äquivalenzkonvention. Die Befragungsmethode muss folglich gewährleisten, Befragungsdaten zu produzieren, welche für das Messsystem verwertbar und somit relevant sind.³⁴ Der Bezug auf eine Äquivalenzkonvention wird dabei an zwei Stellen besonders deutlich: Einerseits bei der Konzeption von Kategorisierungen, andererseits bei der praktischen Zuordnung dieser Kategorien zu Fällen, das heißt beispielsweise durch Kodieren (Desrosières 2001a, S. 116). Desrosières kritisiert deswegen die Vorstellung einer Abbildungsrealität, welche eine der Messung vorausgehende und von der Messung unabhängige Realität voraussetzt, auf welche durch die Messung „einfach“ zugegriffen wird (Desrosières 2001b, S. 341).

Gemäß Desrosières besteht das Ziel der statistischen Arbeit darin, „einen Zusammenhalt zwischen a priori singulären Dingen herzustellen und dadurch den Objekten eine komplexere und umfassendere Realität zu verleihen“ (Desrosières 2005, S. 263). Und es lässt sich nun feststellen, dass diese Organisationsleistung durch den Bezug auf eine Konvention zustande kommt.³⁵ Desrosières kritisiert aus dieser Perspektive die Idee einer „einfachen“ Harmonisierung von national unterschiedlichen Statistiken (das heißt unterschiedlicher Kategorisierungen), wie diese beispielsweise durch die Europäische Union vorangetrieben werden (Desrosières 2000; Moulin 2010). Denn die Idee dieser problemlosen Angleichung verschiedener Statistiken basiere auf einer „realistischen“ Perspektive auf die Statistikproduktion, d. h. dass sich statistische Kategorien aus dem kategorisierten Gegenstand selbst ergeben. Dabei bleiben jedoch die unterschiedlichen Konventionen der Messung, d. h. der konventionelle Aspekt der Messung und damit die unterschiedlichen Kategoriensysteme der verschiedenen Länder, unbeachtet (Desrosières 2000, S. 185). Aus seiner Sicht liegt der Realitätsgehalt von Statistiken jedoch nicht in deren Abbildungsrealität des gemessenen Widerstandes, das heißt in der neutralen Abbildung des Untersuchungsgegenstandes, sondern im Bezug des gemessenen Widerstandes auf in der Öffentlichkeit breit etablierte statistische Kategorien, d. h. durch den Bezug auf Äquivalenzkonventionen mit einer hohen soziogeografischen Reichweite.³⁶ Desrosières will deswegen auch nicht von der Objektivität von Statistiken sprechen, sondern von deren Objektivierung (Desrosières 2005, S. 13 f.). Desrosières betrachtet die Statistikproduktion als einen Ort der Transformation. An deren Beginn stehen kontingente Entscheidungen von Statistikern, denen die Kontingenz ihrer Entscheidungen durchaus bewusst ist. Diese reagieren auf die (öffentliche) Nachfrage nach „realistischen“ Statistiken. Am Ende des statistischen Prozesses stehen dann „reale“ statistische Daten, die ihren Realitätsgehalt durch den Bezug auf Äquivalenzkonventionen mit einer hohen öffentlichen Durchsetzungskraft erhalten (Desrosières 2009a, S. 320 f.). Dadurch besteht für die Statistiker eine konstante Spannung zwischen ihrem Bedürfnis, einerseits ihre Methoden und deren konventionelle Fundierung transparent zu gestalten und andererseits dem öffentlichen Bedürfnis nach realistischen Daten nachzukommen, welches jedoch der Transparenz entgegensteht. Statistische Daten sind somit gleichzeitig real, da die von ihnen beschriebenen Sachverhalte in der Interpretation der Daten als real angenommen und so auch reale Konsequenzen haben. Sie sind aber auch konventionell und anfänglich „konstruiert“, da sie einem kontingenten Ordnungsprozess durch Statistiker unterliegen. Mit Laura Centemeri lässt sich deswegen von einer hohen kognitiven Ambiguität bei der statistischen Produktion sprechen (Centemeri 2012, S. 21). Zwischen den Produzenten und den Konsumenten von Statistik besteht demnach eine große Differenz im Hinblick auf das Wissen um die Konstruiertheit, bzw. den „Realitätsgehalt“ von Statistiken. Die Umwandlung „konventioneller“ hin zu „realen“ Daten kann dabei in der täglichen Arbeit des Statistikers an vielen Stellen zu Reibungen führen (Desrosières 2000, S. 174). Desrosières weist zudem darauf hin, dass durch diese Ambiguität eine Arbeitsteilung im Hinblick auf die Bewältigung von Qualitätskriterien der Survey-Forschung einhergeht. Wie in Abschn. 2.4 dargestellt, führte ein Quality Movement ausgehend von der öffentlichen Statistik zur Entwicklung einer Prozessperspektive auf Survey-Qualität. Dies führte zu einer Ergänzung der klassischen Trias Objektivität, Validität und Reliabilität (Desrosières 2009a, S. 308 ff.). Desrosières weist daraufhin, dass beispielsweise das neu eingeführte Qualitätskriterium der Relevanz nicht wie die klassische Trias durch die (technischen) Statistiker verantwortet wird, sondern durch inhaltsorientierte Projektleitende von Statistikagenturen. Es findet folglich eine Aufgabenteilung im Hinblick auf die Bedienung von verschiedenen Qualitätskriterien durch die beiden Berufsgruppen statt (Desrosières 2009a, S. 311). Zugleich kritisiert Desrosières, dass die Survey-Methodologie den Sampling-Error umfassend theoretisiert habe, während der Non-Sampling-Error untertheoretisiert bleibe (Desrosières 2009a, S. 314 f.).

Die kontingente soziale Natur von Statistiken, das heißt der notwendige Bezug auf eine Äquivalenzkonvention, macht Ordnungsanstrengungen durch die verschiedenen bei der Statistikproduktion involvierten Akteure notwendig. Thévenot macht die Notwendigkeit des In-Form-bringens von Daten deutlich, um überhaupt als Information fungieren zu können: „Unsere Analysen führten uns weg von der Standardvorstellung, wie Daten erhoben und verbreitet werden³⁷. Sie führte uns auch weg von der Vorstellung von verzerrten oder fehlenden Informationen. Denn das sind alles Fragen, die bereits eine angemessene Form der Information voraussetzen.“ (Thévenot 2011d, S. 261). Insbesondere auch Staaten müssen in die Ordnung von statistischen Erhebungen investieren.³⁸ Denn die Staatenbildung ist aus der Perspektive der EC von einer Vielzahl an Ordnungsleistungen (Geld, Recht und eben auch Statistik) abhängig (Diaz-Bone 2018, S. 331 ff.). Staaten sind folglich von einheitlichen Statistiken abhängig, um gesamtgesellschaftliche, datengestützte Debatten zu ermöglichen und Steuerungen vornehmen zu können (Desrosières 2005, S. 361). Die Einheit von Statistiken wird dabei durch einen einheitlichen Bezug auf Äquivalenzkonventionen erreicht. Desrosières will damit deutlich machen, dass die Einheitlichkeit von Statistiken nicht als gegeben vorausgesetzt werden kann, sondern das Produkt eines (sozialen) Ordnungsprozesses darstellt. Dieser Prozess wird dabei maßgeblich durch staatliche Akteure, aber beispielsweise ebenfalls durch Berufsgruppen angeführt. Desrosières nimmt zudem eine Aufteilung verschiedener Wissenschaftsdisziplinen vor. Die Soziologie beschäftigt sich gemäß ihm intensiv mit der sozialen Konstruktion von Taxonomien, während beispielsweise in der Ökonomie die theoretischen Aspekte der Taxonomisierung kaum thematisiert würden. Dies lässt sich Desrosières folgend auf die Trennung in eine reine und eine angewandte Wissenschaft zurückführen (Desrosières 2005, S. 264).

Im Anschluss an die Studien zur Kodifizierung machten Boltanski und Thévenot im Jahr 1983 eine mittlerweile für die EC klassische experimentelle Studie zur Klassifikation von Berufen in Kategorien.³⁹ Dazu trennten sie die sich für dieses Experiment zur Verfügung stellenden Probanden in mehrere Gruppen auf und baten sie, verschiedene Berufe in Gruppen aufzuteilen. Es zeigte sich, dass die Einteilung in die verschiedenen Gruppen eine reflexive Angelegenheit darstellte, da je nach Kriterium für die Einteilung der Berufe in Gruppen die Aufteilung unterschiedliche Resultate mit sich zog. Die Einteilung in Gruppen war demzufolge nicht eine habituelle Angelegenheit, in welcher präreflexive Handlungsmuster zur Anwendung kamen, sondern die Probanden verfügten im Gegenteil über ein Repertoire an verschiedenen Kategorisierungslogiken, die sie zur Anwendung bringen konnten. Die Kategorisierung selber stützte sich auf die verschiedenen Eigenschaften der Berufe, anhand derer in den Gruppen die zur Anwendung kommende Kategorisierungslogik kommunikativ bestimmt wurde. Sie war zudem oft angeleitet von „offiziellen“ Kategorien, wie sie Wissenschaftler und Statistiker definiert hatten (Boltanski und Thévenot 1983). Zusätzlich zeigte sich auch, dass gewisse Berufsgruppen als repräsentativer für eine umfassende Berufskategorie standen als andere. Hier wurde deutlich, dass ein eigenständiger kognitiver Raum besteht, in welchem verschiedene Berufsgruppen unterschiedliche kognitive Relevanzen innehaben. Die unterschiedlichen Relevanzen sind dabei durch eine unterschiedlich starke Investition der Berufsgruppen in die gesellschaftliche Sozio-Kognition begründet (Desrosières 2005; Diaz-Bone 2018, S. 67 ff.).

Desrosières und Thévenot führten zudem bereits früh das Konzept der statistischen Kette ein (Desrosières und Thévenot 2010; Thévenot 1983, S. 194). Damit bezeichnen sie die Serie von Formationen und Transformationen der statistischen Produktion über verschiedene Stationen und Situationen hinweg, die als Ergebnis statistische Daten produzieren und welche durch Kodierer, Statistiker, Befrager, Forscher, usw. organisiert werden (Thévenot 1992a, S. 131). Die Durchführung von Surveys kann so als komplexes Handlungsnetzwerk beschrieben werden. Folgt man den Stationen der Produktion von statistischen Daten, dann sind zunächst individuelle Interpretationen im Hinblick auf die Konzeptualisierung und die Codierung von statistischen Daten ersichtlich. Desrosières und Thévenot konnten jedoch aufzeigen, dass sich die individuellen Interpretationen auf kollektive Interpretationslogiken, d. h. Äquivalenzkonventionen, beziehen lassen. Statistikprojekte basieren folglich auf kollektiven Ordnungsleistungen, welche jedoch eine hohe Reichweite aufweisen müssen. Die Perspektive der EC auf Quantifizierung kann mittels zweier Punkte zusammengefasst werden:

Die Kritik von Cicourel an der standardisierten Survey-Forschung⁴¹ und die Perspektive der EC auf die Produktion von statistischen Daten lenken den Blick auf eine Qualitätsdimension jenseits der Daten- und der Prozessperspektive. Gemäß Cicourel verfügt die Soziologie zum Zeitpunkt seiner Kritik nicht über ein genügend fundiertes Wissen über die Voraussetzungen und den Wirkungsmechanismus der Befragung, um den Bedingungen einer echten Messung genügen zu können. Durch diesen Mangel an Wissen werde während des Messprozesses konstant auf Common Sense-Wissen zurückgegriffen, was zu einer fehlenden Trennung zwischen den Strukturen der Messobjekte und des Messsystems führe (Cicourel 1974, S. 28).

Die Arbeiten von Desrosières heben die konventionelle Fundierung von Messsystemen hervor. Messsysteme sind folglich nicht in den Messobjekten selbst verankert, sondern notwendigerweise durch Konventionen strukturiert und damit genuin sozial (Desrosières 2009b). Der Bezug von Messobjekten auf ein Messsystem stellt damit zwangsweise einen auf Konventionen gestützten interpretativen Prozess dar, wie dies Boltanski und Thévenot aufgezeigt haben (Boltanski und Thévenot 1983). Damit nimmt die EC den durch Cicourel beschriebenen Rückgriff auf Common Sense-Wissen auf, entwickelt jedoch eine eigene Perspektive darauf. Aus Sicht von Cicourel ist der Rückgriff auf Common Sense-Wissen problematisch, da er eine fehlende Systematik und damit eine Unwissenschaftlichkeit in die wissenschaftliche Messung einbringe. Messung stellt in einem solchen Fall aus seiner Perspektive eine spontane Ermessenssache dar. Die EC hat diese Radikalkritik an der quantitativen Sozialforschung in doppelter Weise aufgenommen. Zuerst konnte sie aufzeigen, dass der Rückgriff auf Common Sense-Wissen selbst zum Gegenstand empirischer Forschung gemacht werden kann (Didier 2014, S. 16). Genau dies haben die frühen Studien von Desrosières und Thévenot (1979), Boltanski und Thévenot (1983) und Thévenot (1983) gemacht. In diesen Studien hat sich gezeigt, dass der Rückgriff auf Common Sense-Wissen nicht zufällig und unsystematisch ist, sondern sich auf kollektive Wissenslogiken, d. h. Äquivalenzkonventionen, stützt (Thévenot 1992a). Die von Cicourel behauptete fehlende Systematik und Irrationalität des Rückgriffs auf Common Sense-Wissen ist damit aus der Perspektive der EC nicht gegeben. Die frühen Studien der EC stellten vielmehr einen konstanten Ordnungsprozess von statistischen Kategorien, d. h. dem Messsystem, fest, welcher auf der Basis von kollektiv geteilten Handlungslogiken, d. h. den Äquivalenzkonventionen, geschieht. Die Kollektivität dieses interpretativen Bezugs von Messung auf Konventionen wird durch die Arbeiten von Boltanski einerseits und von Savage andererseits untermauert. Sie konnte aufzeigen, dass es nicht nur die Forschenden sind, welche einen kollektiven Bezug auf durch Äquivalenzkonventionen fundierte Messsysteme leisten. Boltanski machte mit seiner Studie über Führungskräfte deutlich, dass (öffentliche) Kategorisierungen auch der Gegenstand einer symbolischen Repräsentationsarbeit von gesellschaftlichen Gruppen sind, wobei er im Detail die symbolische Arbeit von Führungskräften nachzeichnete (Boltanski 1990). Savage zeigte den performativen Effekt der Kategorisierung eines von ihm über verschiedene Erhebungswellen hinweg untersuchten Surveys auf. Die öffentliche Wirkung des von Savage untersuchten Surveys führte dazu, dass die die Befragung anleitende Kategorisierungslogik eine hohe Öffentlichkeitswirksamkeit entwickelte. Dies hatte einen reflexiven Bezug der Befragten auf das Kategoriensystem der Befragten bei späteren Befragungswellen zur Folge (Savage 2010, S. 240 ff.). Der kollektive Bezug auf ein durch Äquivalenzkonventionen strukturiertes Messsystem fand hier folglich sogar durch die Befragten selbst statt.

Klar wird insgesamt, dass ein zentraler Qualitätsfaktor von survey-basierten Erhebungen deren Bezug auf ein Messsystem ist. Wie die Arbeiten der EC aufgezeigt haben, ist dieses durch Äquivalenzkonventionen fundiert und bedarf dadurch der konstanten Ordnung während des Survey-Prozesses. Zudem wird deutlich, dass diese Ordnungsleistung von Survey-Praktikern selbst zum Gegenstand der Untersuchung gemacht werden kann (Desrosières und Thévenot 1979; Didier 2014). Damit eröffnet sich eine Perspektive für die Untersuchung der zu Beginn dieses Kapitels durch Survey-Praktiker geschilderten unterschiedlichen Forschungslogiken zwischen der öffentlichen Statistik und der akademischen Survey-Forschung auf der einen Seite und der Marktforschung auf der anderen Seite. Die Unterschiede zwischen beiden Survey-Praxen werden zwar durch die Prozessperspektive anhand unterschiedlicher Qualitätskonzepte wiedergegeben, es fehlt jedoch eine reflexive Perspektive auf die verschiedenen Einbettungen und „Kulturen“ der unterschiedlichen Survey-Praxis. Das Ziel der vorliegenden Forschung liegt folglich darin, unterschiedliche Qualitäts- und Koordinationslogiken der Survey-Praxis als den Bezug auf unterschiedliche kollektive Wissenslogiken, bzw. Äquivalenzkonventionen, zu rekonstruieren. Die Qualität von survey-basierten Daten wird demzufolge nicht lediglich in einer hohen Datenqualität gemäß der Kriterien der Objektivität, der Reliabilität und der Validität gesucht. Survey-Qualität erschöpft sich aus der hier eingenommenen Perspektive jedoch auch nicht im Miteinbezug von situativen Aspekten (Zeitlichkeit, Relevanz, Genauigkeit etc.) der Datennutzung und der situativen Aushandlung zwischen Auftraggebern und Auftragnehmern, welche durch die Prozessperspektive betont werden. Die survey-pragmatische Perspektive auf Survey-Qualität kritisiert folglich auch die Prozessperspektive im Hinblick auf deren Konzeption von Qualität von Survey-Erhebungen. Denn obwohl sie als Qualitätsmaßstab den Anwendungs- und Entstehenskontext von Daten benennt, ist sie nicht in der Lage, die Fundierung der situativen Kontexte und damit auch der vorgeschlagenen Qualitätskriterien und Koordinationslogiken in Äquivalenzkonventionen zu sehen. Aus der hier eingenommenen Perspektive der Survey-Welten wird deutlich, dass sich Survey-Qualität weder auf Datenqualität, noch auf unterschiedliche Anwendungs- und Entstehenskontexte reduzieren lässt. Vielmehr stellt aus dieser Perspektive auch der Bezug auf Äquivalenzkonventionen ein weiteres Element von Survey-Qualität dar.

Obwohl die Studien der EC zur Statistik theoretische Grundlagen für die vorliegende Arbeit bereitstellen, so sind sie doch nicht ausreichend, die unterschiedlichen Qualitäts- und Koordinationslogiken der Survey-Praxis einzubeziehen. Denn der Fokus der Studien liegt klar auf Surveys der öffentlichen Statistik (Desrosières 2001b, 2005, 2009a, b; Thévenot 1983, 2016). Dadurch ist es ihnen nicht möglich, die durch die verschiedenen Survey-Praktiker genannten unterschiedlichen Logiken der Survey-Praxis aufzunehmen. Sie sind dadurch nicht in der Lage, ein tieferes Verständnis der Survey-Praxis als Koordination verschiedener Koordinationslogiken zu liefern. Es ist deswegen das Ziel dieser Arbeit, die durch Survey-Praktiker dargestellten unterschiedlichen Qualitäts- und Koordinationslogiken empirisch zu erforschen. Damit wird eine Fortführung der EC-basierten Arbeiten zu Äquivalenzkonventionen als Grundlagen der Produktion von statistischen Daten angestrebt und auf unterschiedliche Logiken der Survey-Praxis bezogen, welche im Folgenden als „Survey-Welten“ bezeichnet werden.

In diesem Unterkapitel wird die Perspektive der vorliegenden Arbeit auf Survey-Koordination und Survey-Qualität als Praxisperspektive dargelegt. Dabei wird auf das Konzept des Labor-Opportunismus von Karin Knorr-Cetina (Knorr Cetina 2002a) und die pragmatische Theorie der Forschung von John Dewey und William James verwiesen. Auf diesen Konzepten aufbauend wird das Programm einer sog. „Survey-Pragmatik“ entworfen, welche den konzeptuellen Rahmen für die empirische Erforschung von unterschiedlichen Qualitäts- und Koordinationslogiken der Survey-Praxis darstellt.

In ihrer Arbeit „Die Fabrikation von Erkenntnis“ untersucht Knorr-Cetina die praktische Herstellung von wissenschaftlichen Tatsachen am Beispiel eines naturwissenschaftlichen Labors (Knorr Cetina 2002a).⁴² Knorr-Cetina zeigte die pragmatische Dimension bei der Hervorbringung naturwissenschaftlichen Wissens auf (Knorr Cetina 1991, S. 105). Mit dem Konzept des Labor-Opportunismus zeigte sie auf, wie naturwissenschaftliche Instrumente nicht zwingend rational, d. h. zielgerichtet und auf den kalkulierten Output hin orientiert, benutzt werden. Vielmehr beobachtete Knorr-Cetina oft einen experimentellen Einsatz von naturwissenschaftlichen Instrumenten. Diese werden also oft „einfach“ eingesetzt, weil sie da sind (Knorr Cetina 2002a, S. 63 ff.). Knorr-Cetina konnte zudem aufzeigen, wie auch Fragen der interpersonellen Zusammenarbeit eine konsequent unterschätzte Rolle bei der Produktion von wissenschaftlicher Erkenntnis einnehmen. So kann ein gutes Verhältnis zum Institutsdirektor durch dessen Verfügen über spezielle Instrumente darüber entscheiden, ob eine neuartige Erkenntnis produziert werden kann oder ob das Forschungsprojekt folgenlos bleibt (Knorr Cetina 2002a, S. 85 ff.).

In weiteren Arbeiten ging Knorr-Cetina noch einen Schritt weiter und verwies auf die den Forschungspraktiken zugrunde liegenden epistemischen Strukturen. Damit prägte sie den Begriff der naturwissenschaftlichen Wissenskulturen (Knorr-Cetina 2002b). Wie sie anhand eines Vergleichs zwischen der Hochenergiephysik und der Molekularbiologie aufzeigen kann, unterscheiden sich verschiedene Wissenschaftsdisziplinen im Hinblick auf ihre zugrunde liegenden epistemischen Strukturen. Als epistemisch versteht Knorr-Cetina dabei „diejenigen Strategien und Prinzipien, die auf die Erzeugung von „Wahrheit“ oder äquivalente Erkenntnisziele gerichtet sind“ (Knorr-Cetina 2002b, S. 11). Ein grundlegender Unterschied zwischen den beiden untersuchten Disziplinen besteht beispielsweise darin, dass die Hochenergiephysik stark kollektivistisch organisiert ist, während die Molekularbiologie viel stärker individualistisch organisiert ist (Knorr-Cetina 2002b, S. 14). Deutlich wird dadurch, „dass es nicht nur eine wissenschaftliche Methode, eine Art des Wissens und nur eine Wissenschaft gibt“ (Knorr-Cetina 2002b, S. 13).

Mit ihrer Arbeit zur Praxis der Wissenschaft machte Knorr-Cetina deutlich, dass auch die „rationale“ Wissenschaft über eine pragmatische Alltagspraxis verfügt. Wissenschaftliches Wissen wird folglich nicht nach rein rationalen Maßstäben, sondern in temporalen, sozialen und objektbesetzten Situationen produziert (Knorr Cetina 2002a, S. 63 ff.). Diese situative Pragmatik kann dabei selbst untersucht werden, um die Wissenschaft selbst und deren Dynamik besser verstehen zu können. Die Studie zu „Wissenskulturen“ von Knorr-Cetina zeigte zudem auf, dass Wissenschaft(-en) systematisch unterschiedlich organisiert sein können und so de-facto eine unterschiedliche Wissenschafts-Praxis vorliegt (Knorr-Cetina 2002b).

Die vorliegende Arbeit folgt Knorr-Cetina damit in doppelter Hinsicht. Einerseits sollen nicht alleine unterschiedliche Survey-Logiken untersucht werden, sondern gerade die Survey-Praxis. Andererseits sollen verschiedene sog. Survey-Welten und deren unterschiedliche Qualitäts- und Koordinationslogiken und Survey-Praxis nachgezeichnet werden. Die pragmatische Perspektive auf Survey-Qualität mit ihrem Verweis auf unterschiedliche Konventionen des Messens als zentralem Qualitätsfaktor der Survey-Forschung sieht sich nicht als neuen, alleinigen Qualitätsrahmen für die Survey-Methodologie, sondern vielmehr als Erweiterung zur Daten- und zur Prozessperspektive. Der an Knorr-Cetina angelehnte Begriff der Survey-Praxis bezeichnet daher gerade die Kompromissschließung zwischen unterschiedlichen Qualitätsfaktoren, welche durch die verschiedenen Qualitätsperspektiven eingeführt wurden.

Im Unterschied zu „Fabrikation von Erkenntnis“ im Speziellen und den Science Studies im Allgemeinen zielt die Survey-Welten-Perspektive jedoch nicht alleine auf eine Erforschung der praktischen Organisation von Forschung und folglich der praktischen Herstellung von Forschungsresultaten ab. Es ist vielmehr das Ziel, den systematischen Bezug auf Konventionen herauszuarbeiten, welche die Survey-Praxis anleiten und strukturieren. Hier zeigt sich der strukturalistische Einfluss der EC (Diaz-Bone, S. 380 ff.). Durch den Bezug auf kollektive Handlungslogiken (Konventionen) durch kompetente Akteure in der Survey-Praxis findet aus der Perspektive der EC stets eine Vereinheitlichung der Praxis statt, welche empirisch rekonstruiert werden kann. Im Gegensatz zu einer rein strukturalistischen Perspektive wird jedoch auch deutlich, dass die Strukturierung der Praxis durch den aktiven und kompetenten Bezug von Akteuren auf kollektive Handlungslogiken entsteht und situativ hergestellt werden muss.⁴³ Die Survey-Welten-Perspektive weist dadurch in ihrer methodologischen Stossrichtung stärkere Ähnlichkeiten auf zu den Arbeiten von Knorr-Cetina zu unterschiedlichen „Wissenskulturen“ in verschiedenen Wissenschaftsdisziplinen. Denn auch hier wird eine enge Verbindung zwischen epistemischen Strukturen und der Organisation des Forschungsprozesses herausgearbeitet (Knorr-Cetina 2002b). Auch aus dieser Perspektive wird die Wissenschaftspraxis folglich grundlegend durch epistemische Strukturen organisiert. Im Gegensatz zu Knorr-Cetina besteht jedoch das Ziel der Survey-Welten-Perspektive nicht alleine im Aufzeigen unterschiedlicher epistemischer Strukturen der Survey-Forschung, sondern in einer systematischen Kartografierung. Zudem wird durch das Aufzeigen einer systematisch unterschiedlichen Survey-Praxis mit der Annahme einer einheitlichen Survey-Methodologie gebrochen und damit ein konkreter Beitrag zur Survey-Praxis selbst erbracht.

Zusammenfassend können die Studien von Knorr-Cetina als empirische Umsetzung einer pragmatischen Epistemologie verstanden werden. Denn die Logik von Forschung und Wissenschaft wird nicht als Gegenstand einer rein mentalen (vernunftbasierten) Reflexion betrachtet, sondern als Gegenstand empirischer Forschung. Wissenschaft wird folglich nicht alleine als Ausdruck einer spezifischen Rationalität verstanden, sondern auch als Praxisform. Die pragmatische (Praxis-)Perspektive auf Forschung und Wissenschaft wird in den folgenden Absätzen mit Bezug auf John Dewey und William James erarbeitet.

In seinem Werk „Logik. Die Theorie der Forschung“ (2008) entwickelt Dewey eine pragmatische Perspektive auf Wissenschaft und Forschung. Dewey kritisiert hier eine Rückführung von Methodologie auf eine formale und a priori gegebene Logik. Denn dies impliziert gemäß Dewey, dass methodologische Fragen eine Angelegenheit der (empirischen) Wissenschaft seien, die Logik hingegen von außerhalb der praktischen Forschung stamme. Demgegenüber sieht er die Logik der Forschung als Resultat vorangehender Forschungen (Dewey 2008, S. 17 ff.). Obwohl Forschung Logikansprüchen genügen müsse, so stammt Logik als Kriterium für gute Forschung dennoch nicht von außerhalb des Forschungsprozesses selbst und lässt sich folglich nicht auf eine a priori gegebene Logik zurückführen. Dabei wendet er sich einerseits gegen kontinentaleuropäisch-rationalistische Perspektiven auf Logik, andererseits auch gegen antike Logikkonzeptionen, hierbei insbesondere gegen diejenige von Aristoteles (Dewey 2008, S. 104 ff.). Dewey fasst seine Konzeption von Logik wie folgt zusammen:

Dewey wendet sich mit dieser Definition zunächst gegen die Auffassung, wonach Logik etwas Subjektives oder rein Mentales sei wie Husserl in den Logischen Untersuchungen bereits 1900 argumentiert (Husserl 2010). Dewey macht vielmehr deutlich, dass die in der wissenschaftlichen Forschung zum Ausdruck kommende Logik eine kollektive Form des Denkens und Entschlüsselns ist, welche also durch verschiedene Forscher geteilt wird (Husserl 2010, S. 34 f.). Zudem lässt sich Logik auch nicht als reine Thematik des Geists, d. h. als mentalistischen Prozess auffassen. Logik entspringt vielmehr direkt Erfahrungen und Erfahrungsmaterial, d. h. sie entwickelt sich durch die Auseinandersetzung mit der Umwelt. Der Erfahrungsbegriff von Dewey entspricht dabei nicht einem simplen Positivismus. Denn Erfahrung lässt sich weder auf das direkt Beobachtete reduzieren (Husserl 2010, S. 55), noch sind damit nicht auch Einsichten gemeint, welche technikvermittelt, d. h. durch Mikroskope etc., zustande kommen (Husserl 2010, S. 63). Denn „Erfahrung“ bedeutet für Dewey immer auch die tätige Auseinandersetzung mit der Umwelt (Dewey 1998, S. 194). Dewey macht damit deutlich, dass sich Logik – wie er im dritten Punkt betont – nicht ein transzendentes a priori darstellt, sondern vielmehr ein Produkt der tätigen Auseinandersetzung mit der Umwelt. Hierbei steht er der Wissenschaft auch keinen speziellen erkenntnistheoretischen Standpunkt zu. „Forschung“ lässt sich vielmehr bereits bei alltäglichen Problemlösungsversuchen identifizieren und Dewey sieht hierbei ein Kontinuum zur akademisch orientierten Forschung. Er identifiziert lediglich unterschiedliche Erkenntnisziele zwischen der alltäglichen und der wissenschaftlichen Logik der Entdeckung. Denn während die alltägliche Logik der Entdeckung auf konkrete und spezifische Handlungsprobleme abzielt, orientiert sich die Wissenschaft an allgemeinen Problemen (Dewey 2008, S. 144).

Forschung und Wissenschaft sind in dieser Konzeption folglich nicht etwas, deren Realität und Normativität sich im Hinblick auf den Erkenntnisprozess formal und abstrakt jenseits aller Forschungspraxis bestimmen lassen. Die Logik der Forschung entwickelt sich vielmehr aus der konstanten Auseinandersetzung mit Forschungsproblemen. Dewey macht aber auch deutlich, dass dieser Prozess nicht alleine in der Auseinandersetzung zwischen Mensch und Objekt geschieht, sondern dass dabei auf kulturell überliefertes Wissen zurückgegriffen wird (Dewey 2008, S. 59). Forschung – und damit Logik – ist folglich in einen sozio-evolutionären Prozess eingebettet, deren Fortgang durch die konkrete Auseinandersetzung von Forschenden mit Forschungsproblemen bestimmt wird und nicht etwa durch die zunehmende Erkenntnis einer reinen und formalen Logik. Deutlich wird darüber hinaus auch, dass Dewey „Forschung“ nicht lediglich als Tätigkeit an Hochschulen und Universitäten identifiziert. Forschung kann mit Dewey vielmehr als diejenige Tätigkeit bezeichnet werden, welche Wissen generiert, sei dies in alltäglichen Situationen für die praktische Problemlösung oder in der akademischen Forschung im Sinne einer Grundlagenforschung:

Im Alltagsleben stellen die Menschen Forschungen an; sie drehen Dinge intellektuell um; sie schließen und urteilen ebenso „natürlich“ wie sie säen und ernten, Güter produzieren und austauschen. Als Verhaltensweise ist die Forschung einem objektiven Studium ebenso zugänglich wie diese anderen Verhaltensweisen (Dewey 2008, S. 128).

Forschung ist folglich für Dewey ein praktischer Prozess der Wissensproduktion, welcher – analog zu anderen Handlungen – einem empirischen Studium unterzogen werden kann. Die Arbeiten von Dewey zur Logik der Forschung lassen sich dabei auf eine grundlegende pragmatische Perspektive auf Wissen und Forschung beziehen. Denn auch William James kritisiert einen Rationalismus und macht darauf aufbauend die von ihm als „radikalen Empirismus“ benannte Perspektive deutlich:

Ich verleihe meiner Weltanschauung [dt. im Original] den Namen ›radikaler Empirismus‹. Empirismus gilt als das Gegenteil von Rationalismus. Der Rationalismus tendiert dahin, Allgemeinheiten hervorzuheben und das Ganze in der logischen wie auch ontologischen Ordnung als da dem Teil gegenüber Vorgängige auszuweisen. Der Empirismus dagegen legt in seiner Erläuterung die Betonung auf das Teil, das Element, das Einzelne, und sieht im Ganzen eine Ansammlung von etwas und im Allgemeinen eine Abstraktion. Entsprechend beginnt meine Beschreibung der Dinge mit den Teilen und behandelt das Ganze als ein Seiendes zweiter Ordnung. […] Um radikal zu sein, darf der Empirismus innerhalb seiner Deutungen weder ein nicht unmittelbar erfahrenes Element zulassen [sick!] noch ein unmittelbar erfahrenes daraus ausschließen. Für eine solche Philosophie müssen jene Beziehungen, durch die Erfahrungen miteinander verbunden sind, ihrerseits erfahrene Beziehungen sein, und jede Art von erfahrener Beziehung muß für genauso ›wirklich‹ wie alles andere im System auch erklärt werden (James 2006, S. 29).

Sichtbar wird – wie bereits bei Dewey – die Kritik des Pragmatismus am Startpunkt des „Rationalismus“ bei Allgemeinheiten. Der Startpunkt der Analyse muss gemäß James jedoch immer das Spezifische und das Einzelne sein, da erst daraus das Allgemeine als Struktur zweiter Ordnung entsteht. James macht zudem deutlich, dass alles Erfahrene real ist. Dabei verweist er jedoch nicht alleine auf die Dingwelt, d. h. die Forschungsobjekte, sondern auch auf die zwischen ihnen erfahrenen Beziehungen. Real – und folglich in die Analyse miteinzubeziehen – sind folglich nicht nur die Forschungsobjekte selbst, sondern auch die Perspektive darauf, d. h. die bei der Forschung zur Anwendung gekommene Forschungsperspektive selbst.

Die Erweiterung der Daten- und Prozessperspektive geht mit einer unterschiedlichen Sicht auf Fragen der Koordination und der Qualität von Surveys einher. In der Folge einer pragmatischen Epistemologie werden maßgeblich zwei Änderungen vorgenommen. Forschung wird zunächst nicht alleine auf die akademische Survey-Forschung bezogen. Forschung wird vielmehr generell als zielgerichteter Prozess der Wissensproduktion verstanden. Survey-Forschung findet folglich nicht lediglich an Hochschulen und Universitäten statt, sondern generell dort, wo Surveys für die Wissensproduktion verwendet werden. Der für die folgende Argumentation zentrale Beitrag der pragmatischen Epistemologie besteht in der Prämisse, wonach sich die Qualität von Survey-Forschung nur aus der Forschungspraxis heraus bewerten lässt. Eine dem Gegenstand angemessene Survey-Methodologie lässt sich folglich nur in Auseinandersetzung mit der Survey-Praxis selbst entwickeln. Eine Erweiterung der Daten- und Prozessperspektive ist folglich nicht möglich, ohne eine Identifikation und Analyse der Forschungspraxis, bzw. der Survey-Praxis selbst. Wie die Arbeiten der EC deutlich gemacht haben, ist dabei die Logik der Erstellung von Kategorien entscheidend, d. h. die Ordnungsleistung des Messgegenstandes durch ein auf Äquivalenzkonventionen aufbauendes Messsystem. Aus einer pragmatischen Perspektive wird sichtbar, dass der Prozess der Erstellung von Kategorien nicht unabhängig von der konkreten Forschungssituation gedacht werden kann. Die Bewertung von „Survey-Qualität“ muss folglich auf der Basis der jeweiligen Forschungslogik bewertet werden. Zentral ist bei der empirischen Untersuchung der Survey-Praxis zudem, sämtliche in der Survey-Praxis referenzierten Elemente für die Bewertung von Survey-Qualität miteinzubeziehen (James 2006, S. 29). Wie in den vorhergehenden Abschnitten deutlich gemacht wurde, können aus der Perspektive der Survey-Methodologie, den Science und Technology Studies und den Beiträgen der EC zur Survey-Forschung insgesamt drei Dimensionen der Survey-Praxis identifiziert werden, welche aneinander vermittelt werden müssen. Die Koordination zwischen den verschiedenen Dimensionen kann als Survey-Pragmatik bezeichnet werden, welche in der Abb. 2.1 graphisch dargestellt ist.

Die neu eingefügte Dimension als Element von Survey-Qualität stellt dabei das Wissensformat dar. Von „Wissensformat“ und nicht etwa von „Messsystem“ oder „Äquivalenzkonvention“ wird deswegen gesprochen, da die Pluralität an unterschiedlichen Survey-Welten untersucht wird, welche Wissen mit unterschiedlichen Eigenschaften produzieren. Dadurch wird ein starker Fokus auf das Endprodukt der survey-basierten Wissensproduktion gelegt. Die Produktion unterschiedlicher Wissensformate bedingt den Bezug auf unterschiedliche Äquivalenzkonventionen (und damit auf unterschiedliche Messsysteme). Das Messsystem ist dabei zunächst unterdefiniert. Denn wie Cicourel aufgezeigt hat, sind Messsysteme nicht per se hermetisch geschlossene Äquivalenzräume, sondern können sich aus verschiedenen Logiken zusammensetzen. Die in dieser Arbeit verfolgte Ebene des Messsystems stellen dabei nicht unterschiedliche sozialwissenschaftliche Theorien dar. Vielmehr wird mit dem Element des Wissensformats der Survey-Pragmatik auf diejenige Kategorisierungslogik des Empirischen fokussiert, welche sich aus den unterschiedlichen Anwendungskontexten von surveybasierten Daten ergeben. Deutlich wird damit, dass aus der Survey-Welten-Perspektive selbst dann unterschiedliche Wissensformate vorgefunden werden können, wenn dieselbe sozialwissenschaftliche Theorie als Grundlage der Befragung verwendet wird.

Die Survey-Pragmatik dient in einem ersten Schritt der Konzeptualisierung von „Survey-Praxis“. Dies kann folglich als Koordination und Kompromissbildung zwischen methodischen Entscheidungen, dem Survey-Management von Ressourcen und Akteuren und unterschiedlichen Wissensformaten verstanden werden. Die verschiedenen Dimensionen der Survey-Pragmatik lassen sich dabei wie folgt zusammenfassen:

Die Survey-Pragmatik sieht sich nicht als Fundamentalkritik an der Survey-Forschung, vergleichbar zu derjenigen von Cicourel (1974), sondern als konzeptionelle Fundierung der Survey-Praxis und von Survey-Qualität. Die Datenperspektive legte ihren Fokus wie dargestellt auf methodische Entscheidungen. Die eigentliche Leistung der Prozessperspektive war es, zusätzlich zu methodischen Entscheidungen auf die Pragmatik zwischen methodischen Entscheidungen und dem Survey-Management in verschiedenen Situationen hinzuweisen. Zentral ist dabei, dass bereits in der Prozessperspektive die Hinzunahme einer zweiten Koordinationsdimension nicht lediglich additiv gedacht ist, sondern in einer Ko-Koordination mit der Methodik steht. Damit ist gemeint, dass das Survey-Management einen Einfluss auf methodische Entscheidungen haben kann. Dies wurde sichtbar im Verweis von Biemer und Lyberg auf die Konkurrenz zwischen verschiedenen (erweiterten) Qualitätsdimensionen, wie beispielsweise Zeitlichkeit und Genauigkeit (Lyberg und Biemer 2008, S. 424). Die Pragmatik der Datenerstellung hängt hier folglich direkt mit methodischen Entscheidungen zusammen. Analog stellt auch die Erweiterung der Konzeption von Survey-Praxis und Survey-Qualität durch die Einführung unterschiedlicher Wissensformate keine reine Addition dar, sondern steht in Interaktion mit der Methodik und dem Survey-Management. Deutlich wird damit, dass sich Survey-Qualität weder auf die Datenqualität, noch auf ein erfolgreiches Survey-Management, noch auf die Erreichung eines spezifischen Wissensformats alleine reduzieren lässt. Die eigentliche Qualitätsebene von Survey-Projekten stellt aus Sicht der Survey-Pragmatik die Koordination zwischen den drei unterschiedlichen Dimensionen dar. Die Survey-Pragmatik versteht sich deswegen als Praxisperspektive. Denn die Survey-Praxis ist der Ort, an dem die Koordination zwischen den drei Qualitätsdimensionen stattfindet.

Auf der Basis des Konzepts der Survey-Pragmatik kann das Forschungsinteresse nun spezifiziert werden:⁴⁴

Im folgenden Kap. 3 werden die theoretischen Grundlagen ausführlich dargestellt, welche als grundlegende Perspektive bei der Umsetzung der genannten Forschungsinteressen dienen.