Process Tracing

Henry Brady unterscheidet etwa vier grundlegende Kausalitätsverständnisse: Gesetzmäßigkeit, Manipulation, kontrafaktisches Denken und Mechanismen. Diese sollten jedoch keineswegs als exklusiv begriffen werden. Vielmehr sind solche Kausalaussagen am stärksten, die Elemente aller Verständnisse bedienen (Brady 2008).

Im Deutschen wird Process Tracing oftmals mit Prozessanalyse übersetzt. Im Folgenden wird allerdings der englische Begriff verwendet, da sich gerade im tracing, was sinngemäß mit ‚einer Spur nachgehen‘ übersetzt werden kann, ein wesentliches Charakteristikum der Methode ausdrückt, welches andernfalls verloren ginge.

Begriffe wie Erklärungsfaktor, Variable und Bedingung werden im vorliegenden Text synonym für ein Explanans verwendet, obwohl ihre Bedeutung über unterschiedliche Forschungstraditionen hinweg variiert. Ähnliches gilt für das Explanandum, das mal als abhängige Variable und mal als Outcome bezeichnet wird.

Waldner führt weiter aus, dass Mechanismen invariante Eigenschaften besitzen, d. h. sie anders als Variablen eben nicht manipuliert werden können. So kann das Einsetzen des Verbrennungsprozesses etwa nicht direkt außer Kraft gesetzt werden, sondern nur durch Manipulation anderer Variablen wie etwa Absaugen des Benzins oder eine Unterbrechung der Stromzufuhr (Waldner 2012, S. 75).

Einige plädieren dafür, solche Anwendungen unter der Bezeichnung Kongruenzanalyse (congruence method) zu fassen (Beach und Pedersen 2016; siehe auch George und Bennett 2005; Blatter und Haverland 2012). George und Bennett sind hier sehr deutlich: „The congruence method has several attractive features. The investigator does not have to trace the causal process that leads from the independent variable to the case outcome; […] Because the congruence method does not use process-tracing, it does not require a search for data that might establish a causal process from independent to dependent variables“ (George und Bennett 2005, S. 182). Blatter und Haverland haben ein leicht abweichendes Verständnis der Kongruenzanalyse, da sie stärker als andere die gegenseitige Evaluation von Theorien ins Zentrum des Ansatzes rücken (Blatter und Haverland 2012, S. 144–45).

An dieser Stelle ist nochmals zu betonen, dass die methodische Literatur zum Thema Process Tracing äußerst heterogen ist. So existieren zahlreiche weitere Ansätze, die jenseits dieser zwei prominentesten Vertreterinnen ebenfalls in diesem Aufsatz Erwähnung finden könnten, wie z. B. Ereignis-Karten in Kombination mit gerichteten azyklischen Graphen (Waldner 2015a, b), analytic narratives (Bates et al. 1998), oder auch weniger stark formalisierte Herangehensweisen die unter diversen Labels wie efficient (Schimmelfennig 2015) oder systematic (Hall 2003, 2013) Process Tracing firmieren. Dabei lassen sich unterschiedliche Ansätze auch miteinander kombinieren.

Die Frage, wie stark eine Annahme widerlegt oder bestätigt werden kann, hängt bei allen Testtypen von den alternativen Szenarien ab und ob diese sich gegenseitig ausschließen oder nicht (siehe u. a. Rohlfing 2014; Zaks 2011). Im vorliegenden Fall könnte man zwei sich ausschließende Hypothesen formulieren; H₁: Person X hat Person Y umgebracht und H₂: X ist nicht der Mörder von Y. In diesem Fall würde das Alibi als Hoop-Test H₁ stark widerlegen und H₂ stark bestätigen. Allerdings könnte zu H₁ auch eine nicht-ausschließende Hypothese H₃ formuliert werden, wonach Person X den Auftragsmord an Y befohlen hat. In diesem Fall würde das Alibi von Person X nur in geringem Maße seine Beteiligung an dem Mord aus dem Weg räumen und H₃ könnte nicht als widerlegt gelten.

Grundsätzliche Kritik an den Testszenarien äußern Fairfield und Charman (2015, S. 26–34), die diese einerseits für eine überflüssige Heuristik halten und andererseits für eine Anpassung der Szenarien plädieren.

Die Festlegung der Ausgangswahrscheinlichkeit hat selbstverständlich Auswirkungen auf die a-posteriori Wahrscheinlichkeit. Während bei singulären Test der a-priori Wahrscheinlichkeit ein großes Gewicht zu kommt, nähern sich die a-posteriori Wahrscheinlichkeiten bei aneinandergereihter Tests auch bei unterschiedlichen Ausgangswahrscheinlichkeiten in der Regel an (Beach und Pedersen 2016, S. 177; Bennett 2015, S. 289–290; Fairfield und Charman 2015, S. 53–54).

Dabei kann man argumentieren, dass die Bayesianische Formalisierung gerade diese Transparenz fördert, da Forscherinnen gezwungen sind, ihre Annahmen offen darzulegen und zu diskutieren, die andernfalls implizit in die Analyse einfließen würden. Auf der anderen Seite kann die Quantifizierung auch eine irreführende Transparenz und falsche Genauigkeit herstellen, die gerade deshalb zu falschen Bewertungen kommt, weil dichtere Beschreibungen durch Zahlen ersetzt werden (Beach und Pedersen 2013, S. 87–88; Bennett 2015, S. 280–281 und 297–298; Fairfield und Charman 2015, S. 17–23).

Selbstverständlich sind die Zahlen im Beispiel fiktiv und damit relativ willkürlich. Eine Argumentation könnte wie folgt aussehen: Beim Hoop-Test spielt u. a. die Überlegung eine Rolle, dass der Täter eventuell einen Komplizen haben könnte, welcher ihm ein Alibi verschafft. Beim Smoking-Gun-Test auf der anderen Seite können wir nicht vollständig ausschließen, dass ein Unschuldiger die Tatwaffe am Tatort aufhebt, während er eigentlich dem Opfer helfen will.

Die Diskussion in Fairfield und Charman basiert auf früheren Arbeiten (Fairfield 2013, 2015). Die nachfolgende Darstellung greift nur Teilaspekte des gesamten Designs auf, welches eine ausführliche Diskussion der Analyseschritte sowie weiterführende Robustheitschecks umfasst.

Die Studie diskutiert insgesamt drei alternative a-priori Wahrscheinlichkeiten und zeigt in der nachfolgenden Analyse auf, dass trotz unterschiedlicher Ausgangsannahmen, die priorisierte Hypothese gegenüber allen Alternativannahmen überlegen ist (Fairfield und Charman 2015, S. 37–64).

Beach und Pedersen plädieren aus diesem Grund dafür, die Bayesianischen Regeln nur implizit anzuwenden, aber keine pseudo-Genauigkeiten durch exakte Prozentangaben zu machen (Beach und Pedersen 2016, S. 154–55).

David Waldner weist zu Recht daraufhin, dass sich durch das Ersetzen von Gewissheit und Einzigartigkeit in hinreichend und notwendig der analytische Fokus verschiebt und die Tests nun eine deterministische Sichtweise impliziert, die nicht haltbar ist (Waldner 2015b, S. 244–245). Hier ist zweierlei zu entgegnen: Erstens bleibt das Argument von zuvor bestehen, dass die Testszenarios als Heuristiken zu verstehen sind, wobei keine exakte Zuordnung zu einem Quadranten möglich ist und zwischen den vier Tests eher differences-in-degree und nicht differences-in-kind bestehen (Beach und Pedersen 2013, S. 100–105). Zweitens schließt diese Interpretation mögliche Inkonsistenzen im Sinne von nicht-perfekt hinreichenden bzw. notwendigen Bedingungen keineswegs aus (siehe hierzu auch Siewert zu QCA in diesem Band oder auch Schneider und Wagemann 2012; Ragin 2008).

Bei letzterem ist allerdings aus zweierlei Gründen Vorsicht geboten. Zum einen hängt dies u. a. davon ab, wie die Fragestellung oder Gegenhypothese formuliert sind, und ob Hypothese und Gegenhypothese ausschließend sind. Zum anderen ist the absence of evidence nicht zwangsläufig auch gleichbedeutend mit the evidence of absence. So muss zweifelsfrei sein, dass ein Beleg unter keinen Umständen aufgefunden werden kann, auch wenn man sehr gründlich gesucht hat.

Man erinnere sich, dass die Wahl zwischen George W. Bush und Al Gore im Jahr 2000 denkbar knapp verlief. Insbesondere in Florida traten damals zahlreiche Probleme bei der Auszählung zu Tage. Letztlich wurde die Nachzählung durch den U.S. Supreme Court gestoppt, was die Wahl von Bush zum 41. Präsidenten der USA bestätigte. Lotts Studie wurde sogar im Nachgang der Wahlen in den Anhörungen im Kongress besprochen.

Dass diese Sichtweise zu einfach und oftmals problematisch ist, betont Jason Seawright zu Recht. So bleiben die meisten Mixed-Methods-Studien wohl dem Anspruch des Methodenmix schuldig, sondern produzieren voneinander getrennte Analysen, die im schlimmsten Falle miteinander nicht vereinbare Ergebnisse hervorbringen können (Seawright 2016; Kuehn und Rohlfing 2010).

Diese Idee geht auf einen Vortrag von Jason Seawright während des Institute for Qualitative and Multi-Method Research in Syracuse, NY (15.–26.06.2015) zurück.

Der Werkzeugkasten der Geschichtswissenschaften bietet hier einige nützliche Instrumente, die wieder stärker in den Politikwissenschaften rezipiert werden könnten (siehe u. a. Lustick 1996; Zelizer 2010).