Politikevaluation

In diesem Kapitel wenden wir uns zuerst der Geschichte der Evaluationsforschung zu (Abschn. 3.1). Danach skizzieren wir, wie sich die Evaluation in Deutschland, in Österreich, in der Schweiz und in Frankreich in den letzten 50 Jahren institutionalisiert hat (Abschn. 3.2). Im Laufe der Jahre hat sich die Evaluation zu einer Disziplin wissenschaftlicher Forschung entwickelt, deren Kern die Bewertung darstellt. Die wesentlichen Elemente dieser Disziplin werden in Abschn. 3.3 erläutert. Anschließend gehen wir auf die Ziele ein, welche Evaluationen verfolgen können (Abschn. 3.4). Schließlich weisen wir darauf hin, was es zu beachten gilt, wenn Evaluator*innen die wissenschaftlich erarbeiteten Ergebnisse für die Politikberatung nutzen (Abschn. 3.5). Schließlich verdeutlichen wir an einem Praxisbeispiel aus Österreich die Grundpfeiler der Evaluationsforschung (Abschn. 3.6).

In diesem Kapitel stellen wir ausgewählte Evaluationsansätze näher vor. Auf diese Weise soll Einblick in die unterschiedlichen konzeptionellen Zugänge zur Durchführung von Evaluation gegeben werden. Die dazu verwendete Kategorisierung stützt sich ab auf das „Baummodell“ von Marvin C. Alkin und Christina A. Christie zur Systematisierung von Evaluationstheorien (Alkin und Christie 2004). Dieses Modell unterscheidet drei Zweige von Evaluationsansätzen, nämlich solche, die sich primär mit Methodenfragen („Methods“), solche, die sich primär mit Fragen der Nutzung der Evaluationsergebnisse („Use“), und solche, die sich vor allem mit dem Wertungsprozess („Valuing“) beschäftigen. Diese drei Hauptäste werden im Folgenden anhand ausgewählter Beispiele in den Abschn. 4.1, 4.2 und 4.3 beschrieben. Im anschließenden Abschn. 4.4 werden die vorgestellten Evaluationsansätze im Hinblick auf ihre Stärken und Schwächen verglichen. Abschn. 4.5 bietet Hinweise zur Wahl zwischen Selbst- und Fremdevaluationen und Abschn. 4.6 illustriert den Ansatz der nutzenorientierten Evaluation an einem Beispiel.

Das vorliegende Kapitel stellt das lineare Modell vor, das der Gruppe der theoriegeleiteten Evaluationen zuzuordnen ist (Abschn. 4.​1). Nachdem wir zuerst erneut kurz auf den Daseinsgrund einer öffentlichen Politik – also ein gesellschaftliches Problem (Klöti 1997, S. 40) – eingehen (Abschn. 5.1), führen wir in diesem Kapitel schwerpunktmäßig schrittweise durch die Evaluationsgegenstände und Evaluationskriterien des linearen Modells. Wie in Abb. 5.1 abgebildet, umfassen die Evaluationsgegenstände das Politikkonzept, die Umsetzungsorganisation, die Leistungen, die Outcomes und schließlich den Impact einer öffentlichen Politik. Je nach Evaluationsgegenstand werden wie nachfolgend dargestellt unterschiedliche Evaluationskriterien festgelegt, deren Anwendung im vorliegenden Kapitel vertieft erläutert wird. In Abschn. 5.2 gehen wir somit auf den ersten Evaluationsgegenstand, das Politikkonzept, ein und stellen die drei im linearen Modell definierten Evaluationskriterien empirische Evidenz, Intrapolicy Kohärenz und Interpolicy Kohärenz vor. Abschn. 5.3 befasst sich mit der Umsetzungsorganisation und den dazugehörigen Bewertungskriterien Eignung und Nachhaltigkeit. Der dritte Evaluationsgegenstand, die Leistungen respektive Outputs, werden mit den Kriterien Angemessenheit und Effizienz bewertet, was in Abschn. 5.4 genauer ausgeführt wird. Darauf folgt in Abschn. 5.5 die Beschreibung des Evaluationsgegenstands Outcome (also den Wirkungen auf die Adressat*innen) mit den entsprechenden Kriterien Wirksamkeit und Effizienz. Dieselben Kriterien werden auch in Abschn. 5.6 zu den Impacts, also den gesamtgesellschaftlichen Wirkungen einer öffentlichen Politik, wieder aufgenommen. Abschn. 5.7 bietet den Leser*innen eine Anleitung, wie die Wahl der Evaluationsgegenstände erfolgen kann und Abschn. 5.8 erläutert, welche Überlegungen bei der Definition der Evaluationskriterien gemacht werden müssen. Am Schluss des Kapitels in Abschn. 5.9 wird die Anwendung des Evaluationsmodells am Beispiel der Tabakpräventionspolitik in der Schweiz illustriert.

Kausale Fragestellungen sind der Kern von Politikevaluation. Öffentliche Politik zielt auf die Veränderung von gesellschaftlichen Zuständen ab. Wie in Kap. 5 dargelegt, unterscheiden wir zwei Wirkungsstufen bei diesen Veränderungen, nämlich Outcome und Impact. Beides sind Wirkungen von öffentlicher Politik, das heißt, sie werden nicht unmittelbar im Rahmen der Umsetzung der öffentlichen Politik produziert, sondern sind die Folge der Leistungen der öffentlichen Politik. Der Begriff Wirkung impliziert einen Kausalzusammenhang zwischen zwei Variablen. Während Kap. 5 die beiden Evaluationsgegenstände erläutert und die Kriterien zu ihrer Bewertung bereitgestellt hat, geht es deshalb im Folgenden darum, die beiden Größen als Wirkungen zu konzipieren und sie in einen kausalen Zusammenhang zu ihren Ursachen zu bringen. Als Ursache von Outcome und Impact vermuten wir im Einklang mit dem Kausalmodell öffentlicher Politik zunächst einmal die Leistungen der öffentlichen Politik (vgl. Kap. 2). Der Fokus auf die öffentliche Politik ist nicht notwendigerweise empirisch korrekt, sondern ergibt sich aus der Aufgabe der Politikevaluation, die öffentliche Politik zu bewerten. Da die öffentliche Politik Wirkungen erzielen will, ist die kausale Analyse der beste Weg, um eine öffentliche Politik korrekt zu bewerten.

Dieses Kapitel beschäftigt sich mit den Herausforderungen der Evaluation von institutioneller Politik. Einleitend wird in Abschn. 7.1 auf den Unterschied zwischen substanzieller und institutioneller öffentlicher Politik eingegangen und es werden verschiedene Typen institutioneller Politiken unterschieden. Danach wenden wir uns der Evaluation von institutioneller Politik zu (Abschn. 7.2). Dabei weisen wir auf die damit verbundenen besonderen Herausforderungen hin. Abschn. 7.3 stellt Beispiele von Evaluationen institutioneller Politik vor und macht auf diese Weise den Gegenstand dieses Kapitels fassbarer. Anschließend (Abschn. 7.4) wird auf die Thematik von Machtspielen und Interessenpolitik eingegangen, welche im Zusammenhang mit der Evaluation von institutioneller Politik besonders augenscheinlich ist. Diese Ausführungen leiten über zu konkreten Handlungsanleitungen, welche bei der Planung einer Evaluation institutioneller Reformen helfen können (Abschn. 7.5). Schließlich wird das Kapitel mit einem Anwendungsbeispiel in Abschn. 7.6 angeschlossen.

In diesem Kapitel wenden wir uns der Auseinandersetzung mit dem Evaluationsdesign zu. Dazu erklären wir zuerst, was wir darunter verstehen (Abschn. 8.1) und stellen danach grundlegende Evaluationsdesigns vor (Abschn. 8.2). In Abschn. 8.3 widmen wir uns der Fallstudie. Es handelt sich dabei nicht um ein eigenständiges Evaluationsdesign, aber ein häufig anzutreffender Typ von Evaluation. Danach weisen wir auf die Hürden hin, die es bei der Festlegung von Vergleichsebenen zu beachten gilt (Abschn. 8.4) und geben Hinweise zur Auswahl eines geeigneten Evaluationsdesigns (Abschn. 8.5). Schließlich verdeutlichen wir an einem Praxisbeispiel das Konzept der Triangulation, das bei Evaluationsdesigns häufig anzutreffen ist (Abschn. 8.6)

In diesem Kapitel werden die konkreten Schritte der Datenerhebung und -analyse erläutert, die letztlich die Grundlage für die Schlussfolgerungen und Empfehlungen einer Evaluation bilden. Die Datenerhebung und -analyse bilden den Punkt, an dem mehrere zentrale Entscheidungen über die Form der Evaluation und den Umfang der Untersuchung getroffen werden. In den folgenden Abschnitten wird ein Überblick gegeben, wobei zu berücksichtigen ist, dass sich eine ganze Reihe von Publikationen ausschließlich mit Evaluationsmethoden beschäftigen (siehe z. B. Patton 1987; Wholey et al. 2015 [2010]). Entscheidungen bezüglich der Datenerhebung und -analyse sind das Ergebnis einer Kombination aus wissenschaftlichen und praktischen Faktoren. Einerseits sind sie untrennbar mit den Evaluationsfragen (siehe Kap. 5) und dem Evaluationsdesign (siehe Kap. 8) verbunden und müssen kohärent mit diesen beiden Dimensionen abgestimmt werden. Andererseits ist die Wahl der Techniken zur Sammlung und Analyse der Daten auch mit praktischen Aspekten verbunden, die im Folgenden näher erläutert werden. Schließlich gilt es zu beachten, dass jede methodische Wahl den Fokus der Untersuchung beeinflusst, wodurch bestimmte Aspekte der Realität beleuchtet werden und andere im Dunkeln bleiben (Bourdieu et al. 1983 [1968], S. 51–80, 193–264).

Evaluation ist eine Dienstleistung: sie liefert primär Handlungswissen, nicht Grundlagenwissen. Die Evaluationsforschung orientiert sich somit in der Regel nicht an theoretischen Debatten der Grundlagenforschung, sondern an praktischen Fragen ihrer Auftraggeber*innen (vgl. Kap. 1). Der vordringliche Zweck von Evaluationsergebnissen ist aus diesem Grund ihre Anwendbarkeit in der Praxis beziehungsweise ihre tatsächliche Nutzung. Dieser Zweck allerdings erfüllt sich nicht von alleine. Welche Faktoren fördern, welche hemmen die Nutzung von Evaluationen? Wie werden Evaluationen genutzt? Welche Vorkehrungen können getroffen werden, damit Evaluationen Nutzen stiften? Schon früh etablierte sich in der Evaluationsforschung die sogenannte Verwendungsforschung als wichtiger Forschungszweig, um diesen und ähnlichen Fragen nachzugehen.

Die ersten Bestrebungen, Qualitätskriterien für Evaluationen festzulegen, wurden in den 1970er-Jahren in den USA unternommen (Sager und Ledermann 2008). Nachdem parallel verschiedene Gruppen ihre eigenen Standards entwickelt hatten, haben sich schließlich die „Joint Committee on Standards for Educational Evaluation“ (Sanders [Joint Committee on Standards for Educational Evaluation] 1994) durchgesetzt. Der Bedarf für ähnliche Evaluationsstandards wurde in Europa erst wesentlich später erkannt (Widmer 1996). Folglich wurden in der Schweiz und in Deutschland anfangs des Jahrtausends von den jeweiligen nationalen Evaluationsgesellschaften Standards verabschiedet. Österreich verfügt aktuell über keine Politikbereich-übergreifenden Evaluationsstandards. Hingegen hat 2012 die Österreichische Plattform für Forschungs- und Technologiepolitikevaluation (fteval) Evaluationsstandards verabschiedet (Kohlweg 2019). Die in Deutschland, Österreich und der Schweiz erlassenen Evaluationsstandards unterscheiden vier Qualitätsdimensionen, welche es bei der Planung und der Durchführung von Evaluationen zu berücksichtigen gilt: Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit. In Frankreich hat die Société Française de l’Évaluation eine wenig detaillierte Charte de l’évaluation verabschiedet, die einen kurzen Überblick über sieben Grundprinzipien bietet: Pluralität, Unabhängigkeit, Kompetenz, Respekt, Transparenz, Gelegenheit und Verantwortlichkeit (SFE (Societé francaise de l’évaluation) 2006 [2003]). Abschn. 11.1 bietet eine Übersicht über die entsprechenden Standards in Deutschland, Österreich und der Schweiz. Abschn. 11.2 geht auf die Techniken der Meta-Evaluation, also der Evaluation von Evaluationen, und der Evaluationssynthese, also der Zusammenfassung von Evaluationsresultaten, ein. Abschn. 11.3 befasst sich mit einem Kernproblem der Qualität von Evaluationen, nämlich deren Unabhängigkeit, und Abschn. 11.4 macht Vorschläge, um die Unabhängigkeit von Evaluationen zu verbessern.

Die Evaluationsforschung hat sich in den westlichen Demokratien als wichtige Informationsquelle für die politische Entscheidungsfindung etabliert. Damit geht eine große Verantwortung einher, die über die wissenschaftliche Qualität von Evaluationen hinausreicht und im Wesentlichen politisch ist. Nachfolgend stellen wir in Abschn. 12.1 die politische Rolle im Rahmen der Institutionalisierung von Politikevaluation in Europa mit Schwerpunkt auf den deutschsprachigen Raum dar. Die beiden folgenden Abschnitte zeigen die politische Rolle anhand des Parlaments und der direkten Demokratie spezifischer auf. Abschn. 12.2 legt den spezifischen Fokus auf die legislative Nutzung von Evaluationen und Abschn. 12.3 geht auf die Nutzung von Evaluationen im direktdemokratischen Willensbildungs- und Entscheidungsprozess ein.