Skip to main content
main-content
Top

About this book

Dieses Lehrbuch führt in die Grundlagen der Politikevaluation ein. Es zeigt deren Begrifflichkeiten, Entstehung, Theorien und die heute gültigen Konzepte sowie die empirischen Methoden für die Wirkungsanalyse öffentlicher Politik. Die Einführung ist didaktisch ausgerichtet und anwendungsorientiert mit realen Beispielen und praxisnahen Aufgaben und Lösungen versehen. Das Buch richtet sich an Studierende an höheren Bildungsinstitutionen, welche die Grundlagen der Evaluation kennenlernen möchten. Ebenso dient das Buch aber auch Akteur*innen, die sich mit der Aufgabe konfrontiert sehen, Evaluationen in einem politischen Kontext in Auftrag zu geben, zu erstellen, zu beurteilen oder zu nutzen. Dies betrifft die öffentliche Verwaltung, Nicht-Regierungsorganisationen, Verbände, sowie Mitglieder der Legislative und der Exekutive, die Policy-Entscheidungen treffen.

Zusätzliche Fragen per App: Laden Sie die Springer Nature Flashcards-App kostenlos herunter und nutzen Sie exklusives Zusatzmaterial, um Ihr Wissen zu prüfen.

Table of Contents

Frontmatter

1. Begriffliche Grundlagen

Zusammenfassung
Was ist eine gute Arbeitsmarktpolitik? Wann ist Migrationspolitik erfolgreich? Hat die Klimapolitik ihre Ziele erreicht? Mit Fragen dieser Art beschäftigt sich die Politikevaluation. In diesem Kapitel führen wir zuerst in die wichtigsten Arbeitsdefinitionen ein (Abschn. 1.1) und befassen uns in Abschn. 1.2 mit den für die Politikevaluation zentralen Begriffen Erkennen und Bewerten. In Abschn. 1.3 führen wir den Policy Cylce ein und verorten die Evaluation darin, bevor sich Abschn. 1.4 mit den Unterschieden zwischen der Grundlagenforschung und der Politikevaluation als angewandte Forschung befasst. Schließlich bietet Abschn. 1.5 einen Einblick in unterschiedliche Instrumente der „Wirkungsprüfung“ (Evaluation, Controlling, Monitoring und Ex-Ante Analysen) und grenzt diese voneinander ab.
Fritz Sager, Susanne Hadorn, Andreas Balthasar, Céline Mavrot

2. Konzeptionelle Grundlagen öffentlicher Politik

Zusammenfassung
In diesem Kapitel gehen wir auf die konzeptionellen Grundlagen der öffentlichen Politik ein und befassen uns im ersten Abschn. 2.1 mit der öffentlichen Politik als Gegenstand der Politikevaluation. Abschn. 2.2 stellt das Wirkungsmodell öffentlicher Politik genauer vor. Der Policy Cycle beschreibt öffentliche Politik nicht als Kausalmodell, sondern als Prozess. In diesem Prozess muss das Wirkungsmodell zunächst umgesetzt werden, bevor es wirken kann. In der Umsetzung zeigt sich, ob die Hypothesen des Wirkungsmodells der Realität standhalten. Allerdings kann es in der Umsetzung selber zu Problemen kommen, die die Wirkung beeinträchtigen. Abschn. 2.3 unterscheidet daher zwischen Konzeptversagen und Umsetzungsversagen einer Politik. Ein Konzeptversagen führt Wirkungsdefizite einer Politik darauf zurück, dass die Massnahmen auf einem nicht zutreffenden Kausalmodell beruhen. Ein Umsetzungsversagen ist hingegen dann gegeben, wenn das Kausalmodell angemessen ist, die getroffenen Maßnahmen aber nicht wunschgemäß umgesetzt werden (Linder und Peters 1987). In Abschn. 2.3 werden die Implikationen dieses Unterschiedes für die Politikevaluation beschrieben und diskutiert. Abschn. 2.4 spiegelt die zentralen Lerninhalte dieses Kapitels an einem Beispiel aus der politischen Realität. Darauf aufbauend formuliert Abschn. 2.5 eine Checkliste mit Aspekten, welche bei der Evaluation substanzieller öffentlicher Politiken berücksichtigt werden sollen. Abschn. 2.6 illustriert die Inhalte dieses Kapitels am Beispiel des australischen „Home Insulation Program“ (HIP, dt. Hausisolationsprogramm), das als Extremfall eines gescheiterten Politikprogramms gelten kann.
Fritz Sager, Susanne Hadorn, Andreas Balthasar, Céline Mavrot

3. Die Entstehung und Etablierung der Wirkungsforschung

Zusammenfassung
In diesem Kapitel wenden wir uns zuerst der Geschichte der Evaluationsforschung zu (Abschn. 3.1). Danach skizzieren wir, wie sich die Evaluation in Deutschland, in Österreich, in der Schweiz und in Frankreich in den letzten 50 Jahren institutionalisiert hat (Abschn. 3.2). Im Laufe der Jahre hat sich die Evaluation zu einer Disziplin wissenschaftlicher Forschung entwickelt, deren Kern die Bewertung darstellt. Die wesentlichen Elemente dieser Disziplin werden in Abschn. 3.3 erläutert. Anschließend gehen wir auf die Ziele ein, welche Evaluationen verfolgen können (Abschn. 3.4). Schließlich weisen wir darauf hin, was es zu beachten gilt, wenn Evaluator*innen die wissenschaftlich erarbeiteten Ergebnisse für die Politikberatung nutzen (Abschn. 3.5). Schließlich verdeutlichen wir an einem Praxisbeispiel aus Österreich die Grundpfeiler der Evaluationsforschung (Abschn. 3.6).
Fritz Sager, Susanne Hadorn, Andreas Balthasar, Céline Mavrot

4. Überblick über ausgewählte Evaluationsansätze

Zusammenfassung
In diesem Kapitel stellen wir ausgewählte Evaluationsansätze näher vor. Auf diese Weise soll Einblick in die unterschiedlichen konzeptionellen Zugänge zur Durchführung von Evaluation gegeben werden. Die dazu verwendete Kategorisierung stützt sich ab auf das „Baummodell“ von Marvin C. Alkin und Christina A. Christie zur Systematisierung von Evaluationstheorien (Alkin und Christie 2004). Dieses Modell unterscheidet drei Zweige von Evaluationsansätzen, nämlich solche, die sich primär mit Methodenfragen („Methods“), solche, die sich primär mit Fragen der Nutzung der Evaluationsergebnisse („Use“), und solche, die sich vor allem mit dem Wertungsprozess („Valuing“) beschäftigen. Diese drei Hauptäste werden im Folgenden anhand ausgewählter Beispiele in den Abschn. 4.1, 4.2 und 4.3 beschrieben. Im anschließenden Abschn. 4.4 werden die vorgestellten Evaluationsansätze im Hinblick auf ihre Stärken und Schwächen verglichen. Abschn. 4.5 bietet Hinweise zur Wahl zwischen Selbst- und Fremdevaluationen und Abschn. 4.6 illustriert den Ansatz der nutzenorientierten Evaluation an einem Beispiel.
Fritz Sager, Susanne Hadorn, Andreas Balthasar, Céline Mavrot

5. Evaluationsgegenstände und Kriterien

Zusammenfassung
Das vorliegende Kapitel stellt das lineare Modell vor, das der Gruppe der theoriegeleiteten Evaluationen zuzuordnen ist (Abschn. 4.​1). Nachdem wir zuerst erneut kurz auf den Daseinsgrund einer öffentlichen Politik – also ein gesellschaftliches Problem (Klöti 1997, S. 40) – eingehen (Abschn. 5.1), führen wir in diesem Kapitel schwerpunktmäßig schrittweise durch die Evaluationsgegenstände und Evaluationskriterien des linearen Modells. Wie in Abb. 5.1 abgebildet, umfassen die Evaluationsgegenstände das Politikkonzept, die Umsetzungsorganisation, die Leistungen, die Outcomes und schließlich den Impact einer öffentlichen Politik. Je nach Evaluationsgegenstand werden wie nachfolgend dargestellt unterschiedliche Evaluationskriterien festgelegt, deren Anwendung im vorliegenden Kapitel vertieft erläutert wird. In Abschn. 5.2 gehen wir somit auf den ersten Evaluationsgegenstand, das Politikkonzept, ein und stellen die drei im linearen Modell definierten Evaluationskriterien empirische Evidenz, Intrapolicy Kohärenz und Interpolicy Kohärenz vor. Abschn. 5.3 befasst sich mit der Umsetzungsorganisation und den dazugehörigen Bewertungskriterien Eignung und Nachhaltigkeit. Der dritte Evaluationsgegenstand, die Leistungen respektive Outputs, werden mit den Kriterien Angemessenheit und Effizienz bewertet, was in Abschn. 5.4 genauer ausgeführt wird. Darauf folgt in Abschn. 5.5 die Beschreibung des Evaluationsgegenstands Outcome (also den Wirkungen auf die Adressat*innen) mit den entsprechenden Kriterien Wirksamkeit und Effizienz. Dieselben Kriterien werden auch in Abschn. 5.6 zu den Impacts, also den gesamtgesellschaftlichen Wirkungen einer öffentlichen Politik, wieder aufgenommen. Abschn. 5.7 bietet den Leser*innen eine Anleitung, wie die Wahl der Evaluationsgegenstände erfolgen kann und Abschn. 5.8 erläutert, welche Überlegungen bei der Definition der Evaluationskriterien gemacht werden müssen. Am Schluss des Kapitels in Abschn. 5.9 wird die Anwendung des Evaluationsmodells am Beispiel der Tabakpräventionspolitik in der Schweiz illustriert.
Fritz Sager, Susanne Hadorn, Andreas Balthasar, Céline Mavrot

6. Die Modellierung von Wirkung

Zusammenfassung
Kausale Fragestellungen sind der Kern von Politikevaluation. Öffentliche Politik zielt auf die Veränderung von gesellschaftlichen Zuständen ab. Wie in Kap. 5 dargelegt, unterscheiden wir zwei Wirkungsstufen bei diesen Veränderungen, nämlich Outcome und Impact. Beides sind Wirkungen von öffentlicher Politik, das heißt, sie werden nicht unmittelbar im Rahmen der Umsetzung der öffentlichen Politik produziert, sondern sind die Folge der Leistungen der öffentlichen Politik. Der Begriff Wirkung impliziert einen Kausalzusammenhang zwischen zwei Variablen. Während Kap. 5 die beiden Evaluationsgegenstände erläutert und die Kriterien zu ihrer Bewertung bereitgestellt hat, geht es deshalb im Folgenden darum, die beiden Größen als Wirkungen zu konzipieren und sie in einen kausalen Zusammenhang zu ihren Ursachen zu bringen. Als Ursache von Outcome und Impact vermuten wir im Einklang mit dem Kausalmodell öffentlicher Politik zunächst einmal die Leistungen der öffentlichen Politik (vgl. Kap. 2). Der Fokus auf die öffentliche Politik ist nicht notwendigerweise empirisch korrekt, sondern ergibt sich aus der Aufgabe der Politikevaluation, die öffentliche Politik zu bewerten. Da die öffentliche Politik Wirkungen erzielen will, ist die kausale Analyse der beste Weg, um eine öffentliche Politik korrekt zu bewerten.
Fritz Sager, Susanne Hadorn, Andreas Balthasar, Céline Mavrot

7. Die Evaluation von institutionellen Politiken

Zusammenfassung
Dieses Kapitel beschäftigt sich mit den Herausforderungen der Evaluation von institutioneller Politik. Einleitend wird in Abschn. 7.1 auf den Unterschied zwischen substanzieller und institutioneller öffentlicher Politik eingegangen und es werden verschiedene Typen institutioneller Politiken unterschieden. Danach wenden wir uns der Evaluation von institutioneller Politik zu (Abschn. 7.2). Dabei weisen wir auf die damit verbundenen besonderen Herausforderungen hin. Abschn. 7.3 stellt Beispiele von Evaluationen institutioneller Politik vor und macht auf diese Weise den Gegenstand dieses Kapitels fassbarer. Anschließend (Abschn. 7.4) wird auf die Thematik von Machtspielen und Interessenpolitik eingegangen, welche im Zusammenhang mit der Evaluation von institutioneller Politik besonders augenscheinlich ist. Diese Ausführungen leiten über zu konkreten Handlungsanleitungen, welche bei der Planung einer Evaluation institutioneller Reformen helfen können (Abschn. 7.5). Schließlich wird das Kapitel mit einem Anwendungsbeispiel in Abschn. 7.6 angeschlossen.
Fritz Sager, Susanne Hadorn, Andreas Balthasar, Céline Mavrot

8. Evaluationsdesign

Zusammenfassung
In diesem Kapitel wenden wir uns der Auseinandersetzung mit dem Evaluationsdesign zu. Dazu erklären wir zuerst, was wir darunter verstehen (Abschn. 8.1) und stellen danach grundlegende Evaluationsdesigns vor (Abschn. 8.2). In Abschn. 8.3 widmen wir uns der Fallstudie. Es handelt sich dabei nicht um ein eigenständiges Evaluationsdesign, aber ein häufig anzutreffender Typ von Evaluation. Danach weisen wir auf die Hürden hin, die es bei der Festlegung von Vergleichsebenen zu beachten gilt (Abschn. 8.4) und geben Hinweise zur Auswahl eines geeigneten Evaluationsdesigns (Abschn. 8.5). Schließlich verdeutlichen wir an einem Praxisbeispiel das Konzept der Triangulation, das bei Evaluationsdesigns häufig anzutreffen ist (Abschn. 8.6)
Fritz Sager, Susanne Hadorn, Andreas Balthasar, Céline Mavrot

9. Techniken der Datenerhebung und -analyse

Zusammenfassung
In diesem Kapitel werden die konkreten Schritte der Datenerhebung und -analyse erläutert, die letztlich die Grundlage für die Schlussfolgerungen und Empfehlungen einer Evaluation bilden. Die Datenerhebung und -analyse bilden den Punkt, an dem mehrere zentrale Entscheidungen über die Form der Evaluation und den Umfang der Untersuchung getroffen werden. In den folgenden Abschnitten wird ein Überblick gegeben, wobei zu berücksichtigen ist, dass sich eine ganze Reihe von Publikationen ausschließlich mit Evaluationsmethoden beschäftigen (siehe z. B. Patton 1987; Wholey et al. 2015 [2010]). Entscheidungen bezüglich der Datenerhebung und -analyse sind das Ergebnis einer Kombination aus wissenschaftlichen und praktischen Faktoren. Einerseits sind sie untrennbar mit den Evaluationsfragen (siehe Kap. 5) und dem Evaluationsdesign (siehe Kap. 8) verbunden und müssen kohärent mit diesen beiden Dimensionen abgestimmt werden. Andererseits ist die Wahl der Techniken zur Sammlung und Analyse der Daten auch mit praktischen Aspekten verbunden, die im Folgenden näher erläutert werden. Schließlich gilt es zu beachten, dass jede methodische Wahl den Fokus der Untersuchung beeinflusst, wodurch bestimmte Aspekte der Realität beleuchtet werden und andere im Dunkeln bleiben (Bourdieu et al. 1983 [1968], S. 51–80, 193–264).
Fritz Sager, Susanne Hadorn, Andreas Balthasar, Céline Mavrot

10. Nutzung von Evaluationsergebnissen

Zusammenfassung
Evaluation ist eine Dienstleistung: sie liefert primär Handlungswissen, nicht Grundlagenwissen. Die Evaluationsforschung orientiert sich somit in der Regel nicht an theoretischen Debatten der Grundlagenforschung, sondern an praktischen Fragen ihrer Auftraggeber*innen (vgl. Kap. 1). Der vordringliche Zweck von Evaluationsergebnissen ist aus diesem Grund ihre Anwendbarkeit in der Praxis beziehungsweise ihre tatsächliche Nutzung. Dieser Zweck allerdings erfüllt sich nicht von alleine. Welche Faktoren fördern, welche hemmen die Nutzung von Evaluationen? Wie werden Evaluationen genutzt? Welche Vorkehrungen können getroffen werden, damit Evaluationen Nutzen stiften? Schon früh etablierte sich in der Evaluationsforschung die sogenannte Verwendungsforschung als wichtiger Forschungszweig, um diesen und ähnlichen Fragen nachzugehen.
Fritz Sager, Susanne Hadorn, Andreas Balthasar, Céline Mavrot

11. Qualitätssicherung von Evaluationen

Zusammenfassung
Die ersten Bestrebungen, Qualitätskriterien für Evaluationen festzulegen, wurden in den 1970er-Jahren in den USA unternommen (Sager und Ledermann 2008). Nachdem parallel verschiedene Gruppen ihre eigenen Standards entwickelt hatten, haben sich schließlich die „Joint Committee on Standards for Educational Evaluation“ (Sanders [Joint Committee on Standards for Educational Evaluation] 1994) durchgesetzt. Der Bedarf für ähnliche Evaluationsstandards wurde in Europa erst wesentlich später erkannt (Widmer 1996). Folglich wurden in der Schweiz und in Deutschland anfangs des Jahrtausends von den jeweiligen nationalen Evaluationsgesellschaften Standards verabschiedet. Österreich verfügt aktuell über keine Politikbereich-übergreifenden Evaluationsstandards. Hingegen hat 2012 die Österreichische Plattform für Forschungs- und Technologiepolitikevaluation (fteval) Evaluationsstandards verabschiedet (Kohlweg 2019). Die in Deutschland, Österreich und der Schweiz erlassenen Evaluationsstandards unterscheiden vier Qualitätsdimensionen, welche es bei der Planung und der Durchführung von Evaluationen zu berücksichtigen gilt: Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit. In Frankreich hat die Société Française de l’Évaluation eine wenig detaillierte Charte de l’évaluation verabschiedet, die einen kurzen Überblick über sieben Grundprinzipien bietet: Pluralität, Unabhängigkeit, Kompetenz, Respekt, Transparenz, Gelegenheit und Verantwortlichkeit (SFE (Societé francaise de l’évaluation) 2006 [2003]). Abschn. 11.1 bietet eine Übersicht über die entsprechenden Standards in Deutschland, Österreich und der Schweiz. Abschn. 11.2 geht auf die Techniken der Meta-Evaluation, also der Evaluation von Evaluationen, und der Evaluationssynthese, also der Zusammenfassung von Evaluationsresultaten, ein. Abschn. 11.3 befasst sich mit einem Kernproblem der Qualität von Evaluationen, nämlich deren Unabhängigkeit, und Abschn. 11.4 macht Vorschläge, um die Unabhängigkeit von Evaluationen zu verbessern.
Fritz Sager, Susanne Hadorn, Andreas Balthasar, Céline Mavrot

12. Die Bedeutung von Evaluationen in der heutigen Politik

Zusammenfassung
Die Evaluationsforschung hat sich in den westlichen Demokratien als wichtige Informationsquelle für die politische Entscheidungsfindung etabliert. Damit geht eine große Verantwortung einher, die über die wissenschaftliche Qualität von Evaluationen hinausreicht und im Wesentlichen politisch ist. Nachfolgend stellen wir in Abschn. 12.1 die politische Rolle im Rahmen der Institutionalisierung von Politikevaluation in Europa mit Schwerpunkt auf den deutschsprachigen Raum dar. Die beiden folgenden Abschnitte zeigen die politische Rolle anhand des Parlaments und der direkten Demokratie spezifischer auf. Abschn. 12.2 legt den spezifischen Fokus auf die legislative Nutzung von Evaluationen und Abschn. 12.3 geht auf die Nutzung von Evaluationen im direktdemokratischen Willensbildungs- und Entscheidungsprozess ein.
Fritz Sager, Susanne Hadorn, Andreas Balthasar, Céline Mavrot
Additional information