Wissenschaft unter Beobachtung

Die Prüfung und Bewertung wissenschaftlicher Leistungen spielt eine Rolle, solange es organisierte Wissenschaft gibt. Das gilt insbesondere für den epistemischen Gehalt von Wissen und die Erkenntnisansprüche der Wissenschaft. Ebenso war Wissenschaft immer schon durch Konformitäten geprägt. Die Einhaltung von impliziten Normen und Verhaltenserwartungen ist seit jeher ein wichtiges identitätsstiftendes Merkmal von Wissenschaft, wie etwa (1942) in seinen Analysen zum Ethos der Wissenschaft konstatiert.

A challenging analysis of the impact of a new Total Quality Management (TQM) system on the basic research practices of a commercial laboratory demonstrates how the perceived Value incongruence’ between the tasks of the scientists and TQM can create distrust, anger and resistance (Sitkin/Stickel 1996). Indeed, the introduction of formal controls with the manifest intention of enhancing trust and transparency within the organisation seemed to have the opposite effect. The study reports how the performance measures embodied in the TQM system were perceived as ‘inappropriately precise and deterministic’ in relation to a basic research task, which was seen to be inherently ambiguous and highly uncertain. In one reported example, a laboratory manager refused to inform staff about the patent goals of the organisation, arguing, in a manner consistent with Goodhart’s law, that such targets were not only distracting but might affect the propensity of scientists to take intellectual risks (204). The manager had effectively established himself as a ‘buffer’ between the creative scientists and the management system.

Die Wissenschaftstheorie beginnt in der Regel damit, dass sie ein Ziel für die Wissenschaft setzt und dann philosophische Überlegungen anstellt, wie dieses Ziel erreicht werden kann. Als Ziele der Wissenschaft gelten traditionell Wissen oder Erkenntnis, die als System wahrer und begründeter Sätze verstanden werden. An Mitteln, Erkenntnis zu erreichen, stehen als die üblichen Kandidaten zur Verfügung: deduktives und induktives Schließen, Aufstellen und kritische Überprüfung von Hypothesen, Experimente usw. Hingegen kommt in der klassischen Wissenschaftstheorie die Frage, worin der Wert von wissenschaftlicher Erkenntnis eigentlich gründet, seit jeher zu kurz. Wissenschaftstheoretiker scheinen es für evident zu halten, dass Erkenntnis et-was Wertvolles ist, denn sie setzen diese als Ziel der Wissenschaft einfach voraus.

Der folgende, auf den deutschen Fall konzentrierte Beitrag gliedert sich in zwei Teile. Erst seit dem frühen 20. Jahrhundert entwickelte das deutsche Wissenschaftssystem signifikante Instrumente spezifischer und damit gesondert überprüfbarer Forschungsmittelvergabe in großem Stil. Zum einen etablierten sich bereits vor dem Ersten Weltkrieg außeruniversitäre Forschungsinstitute im Kontext der 1911 gegründeten Kaiser-Wilhelm-Gesellschaft zur Förderung der Wissenschaften, seit 1946/48 Max-Planck-Gesellschaft, zum anderen entstand 1920 in extremer Notlage die Notgemeinschaft der Deutschen Wissenschaft, seit 1929 Deutsche Forschungsgemeinschaft genannt, mit Schwerpunkt auf Förderung von Universitätsforschung und ausgestattet mit eigenen Auswahl-, Überprüfungs- und Kontrollmechanismen im Rahmen einer Organisation wissenschaftlicher Selbstverwaltung. Nach dem Zweiten Weltkrieg erweiterte sich das Feld institutionalisierter außeruniversitärer Forschungsförderung mit der anwendungsorientierten Fraunhofer-Gesellschaft, mit den heute in der Leibnizgesellschaft verbundenen Blaue-Liste-Instituten und mit den Großforschungseinrichtungen, jetzt unter dem Dach der Helmholtz-Gemeinschaft. Ausgeklammert bleibt die eigentliche Industrieforschung. Insgesamt handelt es sich um Differenzierung und Ausgründungen einer im 19. Jahrhundert ausgebildeten deutschen Forschungsuniversität, welche Forschung und Lehre konstitutiv verkoppelte. Daraus resultierte, dass weniger einzelne wissenschaftliche Arbeiten oder Forschungsverbundprojekte begutachtet wurden, sondern vielmehr wissenschaftliche Persönlichkeiten insgesamt.

Evaluation — die Bewertung und Prüfung von Sachverhalten, Leistungen oder auch von Konformitäten — ist sicherlich nicht neu. Das gilt insbesondere für die Evaluation von Wissen und Erkenntnisansprüchen. Es lohnt daher, exemplarisch die Evaluationsregime aus zwei Wissenskulturen im Hinblick auf ihre Organisation und Trägerschaft, auf Kriterien und Verfahren, auf machtstabilisierende oder destabilisierende Funktionen und auf mögliche Sanktionen bzw. soziale Folgen genauer zu betrachten.

In diesem Beitrag möchte ich einige vor allem historisch-analytisch angeleitete Bemerkungen zu einer Diskussion machen, die die wissenschafts- und hochschulpolitisch bewegten Gemüter in Deutschland wieder einmal erhitzt: die Organisation der Nachwuchsförderung und der weiterführenden wissenschaftlichen Karrieren an den Universitäten. Das Ringen um die Einführung und Gestaltung der Juniorprofessur, um die Abschaffung oder Beibehaltung der Habilitation, die Neuregelung der Zeitvertragspraxis oder die Etablierung von lehrbezogenen beruflichen Positionen („lecturer“, „Juniorprofessur in der Lehre“) zeigen an, dass Fragen der Nachwuchsförderung und Personalstruktur wiederum auf der politischen Tagesordnung stehen. Dabei stehen die traditionellen Strukturen, Bewertungsmaßstäbe und Ergebnisse der Nachwuchsförderung an den deutschen Universitäten in vielerlei Hinsicht in der Kritik. Der ehemalige Präsident der Humboldt-Universität hat es vor nicht allzu langer Zeit auf den Punkt gebracht: „Zu lang, zu alt, zu abhängig, zu praxisfern“ — das sind die Attribute, mit denen die „Krise des deutschen Nachwuchses“ umschrieben ist. Und in einem Interview mit der Deutschen Universitätszeitung zog Ralf Dahrendorf vor einiger Zeit ebenso knapp die Verbindung zur Krise der deutschen Universität: Frage der DUZ: „Arbeitet der wissenschaftliche Nachwuchs in Deutschland zu lange in Abhängigkeit?“ Antwort von Dahrendorf: „Total. Die halbe Malaise der deutschen Universitäten liegt darin [...]“

Bei dem politischen Ziel, die Qualität von Wissenschaft sicherzustellen, spielt Evaluation eine wichtige Rolle. Evaluation von Wissenschaft gibt es selbstverständlich bereits seit langem, aber zweifellos übertrifft sie heute an Qualität und Quantität alles bisher Dagewesene. Dies vor allem, weil sie von einem Verfahren der akademischen Selbstverwaltung zu einem Steuerungsinstrument der Politik im Rahmen der Reorganisation der öffentlichen Verwaltung geworden ist (Stichwort New Public Management; siehe OECD 2005; Osborne/Gaebler 1992; Pollit/Bouckaert 2000).

In den letzten Jahren ist eine neue Krankheit ausgebrochen, die sich fieberhaft ausbreitet: Alles und jedes wird unablässig evaluiert. Unter „Evaluation“ wird hier eine nachträgliche Einschätzung der Leistung einer Organisation oder Person durch von außen kommende Experten verstanden.² Der vorliegende Beitrag konzentriert sich auf Evaluationen im staatlichen Auftrag, deren vornehmliches Ziel es ist, die geeignete Zuteilung finanzieller Mittel zu unterstützen.

Als vor etwa einem Jahrzehnt das Centrum für Hochschulentwicklung (CHE) in Deutschland mit der Restrukturierung des deutschen Hochschulwesens begann, war sie in anderen europäischen Staaten schon weit vorangeschritten. Vor der Einführung numerischer Indikatoren, Evaluationen und Rankings an Universitäten und Forschungseinrichtungen wurde das System durch Korporatismus, Föderalismus und vor allem durch das Prinzip der Gleichheit reguliert; Weltklasseforschung oblag der Max-Planck-Gesellschaft. Empfehlungen von Seiten des Wissenschaftsrates im Jahre 1985, „Leistungen öffentlich vergleichend zu beurteilen“ und „Leistungstransparenz“ herzustellen, lösten keinerlei Handlungsimpuls aus. Der Umbruch ereignete sich erst vier Jahre später, als es galt, das ostdeutsche Hochschulsystem vor seiner Integration in das gesamtdeutsche System zu verkleinern und zu entpolitisieren. Zum ersten Mal wurden in Deutschland formale Evaluationsprozesse an wissenschaftlichen Einrichtungen durchgeführt und seither auf das gesamte Hochschulsystem ausgeweitet.

Evaluationen dienen häufig dazu, die „Wirksamkeit“ von Maßnahmen zu untersuchen. Als Wirkungsanalyse verstandene Evaluationen zielen auf die Prüfung, ob ein Programm oder Projekt die angestrebten Ziele und beabsichtigten Effekte erreicht hat. So wird beispielsweise die Evaluation arbeitsmarktpolitischer Maßnahmen häufig nicht formativ, sondern als Wirkungsanalyse konzipiert. Dabei sollen die Ergebnisse der eingeführten Vorhaben oder Gesetzesänderungen überprüft sowie nicht intendierte und häufig unerwünschte Effekte identifiziert werden. Die detaillierte Kenntnis der jeweils erreichten Wirkungen stellt eine wichtige Voraussetzung dar, um die eingesetzten Maßnahmen zu modifizieren: beispielsweise können die Befunde von Evaluationen dazu beitragen, Weiterbildungsangebote für Arbeitslose besser auf deren Qualifikation zuzuschneiden, sie können aber auch die Abschaffung von solchen Maßnahmen veranlassen, die kaum Wirkung zeigen oder von denen sogar negative Anreize für die Arbeitssuche ausgehen.

Es ist nicht mehr zu übersehen: Das Zeitalter der Evaluationen ist auch im deutschen Wissenschaftssystem angebrochen. Ein deutlicher Indikator hierfür ist die vehemente Kritik der betroffenen Akteure in der Wissenschaft an den eingeführten Verfahren der Qualitätskontrolle und -bewertung und vor allem an den nicht intendierten Wirkungen. Die Argumente beziehen sich auf die Nichtangemessenheit der Evaluationsverfahren für die Wissenschaft, insbesondere für die Grundlagenforschung, und auf den damit verbundenen Zwang zur Ökonomisierung von Forschung in einem Prozess, „in dem ökonomische Kriterien zunehmend den Primat gegenüber anderen Leitvorstellungen übernehmen [...]“ (Hoffmann/Neumann 2003: 9). Die Kritik gipfelt in der Behauptung, dass in den Evaluationen „der bildungs- und wissenschaftspolitische ‚Paradigmenwechsel’ die Kategorie der Wahrheit, die zugegebenermaßen stark umstritten ist, [...] durch die Nützlichkeit aus instrumentell-technologischer Perspektive ersetzt“ (Hoffmann 2003: 18–21).

Die Evaluation per Benchmarking ist auf dem Vormarsch — in Firmen und in nationalen Verwaltungen, in internationalen Organisationen (und auch bei der Konstruktion Europas). Sie betrifft ein weites Spektrum an Bereichen in Wissenschaft und Wirtschaft, und sie berührt soziale wie beschäftigungspolitische Fragen. Sie basiert primär auf der Verwendung von Leistungsindikatoren (wie etwa der Beschäftigungsquote, mit der die Leistungsfähigkeit der jeweiligen nationalen Beschäftigungspolitik bewertet werden soll). Ihre politische Legitimität und Akzeptanz resultiert aus der Tatsache, dass diese Leistungsindikatoren in Form von Ziffern erscheinen, die a priori objektiv und nicht hinterfragbar sind. In Wahrheit sind die Dinge jedoch sehr viel komplizierter. Die Verwendung von Indikatoren als Governance-Werkzeugen heißt nicht nur, auf der Suche nach politischer Neutralität Politik durch Technik zu ersetzen, sondern zugleich — wenn auch häufig ganz unbeabsichtigt —, mittels der Auswahl bestimmter Techniken Politik zu machen. Anhand von einigen europäischen Schlüsselbeispielen werde ich im Folgenden zwei Konzeptionen der Aufstellung und Verwendung von Indikatoren einander gegenüberstellen, eine instrumentelle, die vom New Public Management (NPM) herkommt, und eine ethische, die sich aus den Arbeiten von Amartya Sen herleitet (Kapitel 1 und 2). Sodann werde ich versuchen, diese Konzeptionen auf die Forschungsevaluation anzuwenden und ein pluralistisches Evaluationsverfahren in Bezug auf Ziele, Akteure und Methoden zu skizzieren (Kapitel 3).

Das Überhandnehmen und Intensivieren von Evaluationen der Forschungsinstitute und Bildungsanstalten in beinahe allen westeuropäischen Ländern bringt eine immer schwerere Bürde für die erfahrenen Forscher mit sich. Von ihnen werden Beiträge zum Funktionieren des Evaluationssystems verlangt, und zwar auf den unterschiedlichsten Niveaus: Sie sind nicht nur für den Entwurf und die Leitung von Forschungsprojekten und deren Berichterstattung verantwortlich, sondern zugleich für deren Beurteilung, wenn auch meist auf eher abstrakter Ebene. Darüber hinaus sind sie häufig auch in die institutionelle Leitung eingebunden und gegenüber Evaluationskommissionen rechenschaftspflichtig, von denen sie aber nicht selten aufgefordert werden, dort selbst einen Sitz einzunehmen. Diese Proliferation von Beurteilungsprozessen führt dazu, dass die nationale und internationale wissenschaftliche Landschaft zusehends einem Jahrmarkt gleicht, auf dem die Akteure in schöner Regelmäßigkeit von einem Karussell aufs nächste wechseln, um bei diesem Spiel fortwährend den immer selben Personen zu begegnen.

Qualitätsbeurteilungen in Wissenschaft und Forschung, etwa im Rahmen eines Peer Review, stützen sich in aller Regel auf Maßstäbe, die auf tradierten disziplinär geprägten Kulturen, Regeln und Standards beruhen — bedienen sich also impliziter, meist qualitativer Maßstäbe. Zwar nimmt das Gewicht expliziter, rein quantitativer Messmethoden wie beispielsweise Zitationsindizes, sogenannter Impact Factors oder die Höhe eingeworbener Drittmittel deutlich zu, diese lassen aber fächer- und disziplinenspezifische Methoden und Inhalte oft so weit außer Acht — verletzen also implizite Qualitätsmaßstäbe so stark —, dass sie zu Recht kritisiert werden.

Für die Evaluation wissenschaftlicher Einrichtungen sind die Beobachtungen und Gespräche mit den Wissenschaftlern vor Ort, der Austausch über die Eindrücke innerhalb der Begehungsgruppe und die gemeinsame Verständigung über die Bewertung von zentraler Bedeutung.² Diese Tätigkeiten werden üblicherweise unter dem Begriff Peer Review zusammengefasst, womit das Verfahren der Bewertung bezeichnet wird. Hirschauer charakterisiert das Peer Review als „eine Praxis, die sich qualitativer Methoden bedient“, und ordnet es den qualitativen Methoden der empirischen Sozialforschung zu (Hirschauer 2006: 421). Damit geht er davon aus, dass es sich um eine planmäßig und reflektiert eingesetzte Arbeitsweise handelt. Ob die oben aufgezählten Evaluationstätigkeiten tatsächlich auf einer wissenschaftlich ausgearbeiteten Methodik basieren, die ein reflektiertes, planmäßiges und folgerichtiges Vorgehen garantiert und die vor allem personenungebunden durchgeführt werden kann, ist jedoch fraglich. Um diesen Zweifel deutlich zu machen, spreche ich von qualitativen Praktiken, weil es sich um Fähigkeiten handelt, die von Wissenschaftlern erwartet werden, aber nicht zu einem Methodenkompendium verdichtet sind, wie dies für die quantitativen Methoden der Fall ist. Erstaunlich ist, dass die Resultate der Evaluationen trotzdem mit ausgeprägter Urteilsgewissheit vorgetragen, begründet und durchgesetzt werden.³

Ein weit verbreitetes Unbehagen veranlasst die Wissenschaftlerinnen und Wissenschaftler aus den verschiedensten Disziplinen, die Zumutungen der Evaluation, die vermehrt an sie gerichtet sind, kritisch zu hinterfragen.¹ Nicht nur die Wissenschaft, auch viele andere soziale Systeme sind verstärkt Evaluationsaktivitäten unterschiedlichster Art ausgesetzt, wobei die Reaktionen der Betroffenen selten von Enthusiasmus, gelegentlich von kooperativer Zuversicht, öfters aber von Apathie oder Widerwillen geprägt sind. Die Wissenschaft reagiert auf diese Entwicklungen in generischer Form, indem sie einen wissenschaftlichen Diskurs initiiert. Dieser Diskurs ist disparat, folgt er doch grundsätzlich zwei unterschiedlichen Stoßrichtungen. Während sich ein Teil der Wissenschaft mit der Verfeinerung der Evaluationsmethoden und -verfahren befasst und dabei einen hohen Grad der Differenzierung und Spezialisierung unter teilweiser Berücksichtigung der inhärenten Begrenzungen erreicht hat (vgl. etwa Archambault et al. 2006; Daniel 1993; Gläser/Laudel 2005; Moed 2005), befassen sich andere Wissenschaftlerinnen und Wissenschaftler in erster Linie mit fundamentalen Fragen der Zulässigkeit und Sinnhaftigkeit der Evaluation von Wissenschaft (siehe z. B. Erche 2003; Frey 2006; Koschorke 2004; Mittelstrass 2000; Neidhardt 2000; Stoellger 2005: 981). Im ersten Fall geraten die Gründe der Evaluation ebenso wie die Differenz zwischen Bewertung und Messung gelegentlich in den Hintergrund, während sich der zweite Diskussionsstrang kaum mit dem „Wie“ der Evaluation auseinandersetzt, häufig das Postulat des Sonderfalls Wissenschaft vorbringt und eine Tendenz zur Entkoppelung (und Immunisierung) des Wissenschaftssystems von seiner Umwelt entwickelt. Aufgrund ihrer Ausrichtungen erstaunt es wenig, dass sich die beiden Diskurse gegenseitig als wenig anschlussfahig erweisen.²

Bewertungen der Kreditwürdigkeit von Ländern und Unternehmen sind ein akzeptierter Bestandteil der Selbststeuerung des globalen Finanzsystems. Vor allem die Bedeutung der US-amerikanischen Ratingagenturen Standard & Poor’s (S&P) und Moody’s Investors Service (Moody’s) hat seit dem Ende der Bretton-Woods-Ära deutlich zugenommen. Waren im Jahre 1970 weltweit beispielsweise noch weniger als 1.000 Emittenten von Moody’s bewertet, so erhöhte sich die Zahl auf über 9.000 im Jahre 2000. Eingeschlossen sind mitderweile 100 Länder, die meisten supranationalen Organisationen, Banken, Versicherungen, Industrie- und Versorgungsunternehmen sowie Investmentfonds. Neben dem traditionellen Feld des Kreditratings haben die Agenturen im Zuge der fortschreitenden globalen Vernetzung von Finanztransaktionen neue Geschäftszweige erschlossen. Zu ihren Diensdeistungen gehören Empfehlungen hinsichtlich des Kaufs oder Verkaufs von Aktien (Equity Research)¹, Benchmark-Indizes zur Performanz von Unternehmen (z. B. S&P 500), Instrumente zum Risikomanagement von Unternehmen, Beratungen zum Portfoliomanagement, Data Services zur Unterstützung von Industrieanalysen sowie Corporate Governance Services zur Implementation und Weiterentwicklung von Standards der Unternehmens führung und -überwachung. Mitderweile erstrecken sich die Evaluationen der führenden Agenturen auch auf Bereiche außerhalb der Wirtschaft. So bietet Standard & Poor’s seit dem Jahre 2004 „School Evaluation Services“ in den USA an, die Lehrern, Eltern, Politikern, Unternehmen und Steuerzahlern Analysen von Schuldaten zur Verfügung stellen sollen.

Die flächendeckende und regelmäßige Evaluation sozialwissenschaftlicher Forschung gilt als ebenso unverzichtbar wie unerträglich. Anhaltende Mittelknappheit und ein vermutlich übergeneralisierter Inferioritätsverdacht konvergieren in der Maxime, dass die dem Wissenschaftsbetrieb eigenen Stratifizierungs- und Gratifikationsmechanismen der Ergänzung durch extern autorisierte Bewertungsverfahren bedürfen. Ob die inzwischen schon zur Routine gewordenen Evaluationen tatsächlich eine Steigerung des durchschnittlichen Qualitätsniveaus der Forschung erbringen, ist jedoch zweifelhaft. Wenig Grund besteht zur Annahme, dass sie das Leistungsvermögen an der Spitze — Stichwort „Exzellenz“ — nennenswert tangiert haben. Eine nachhaltige Wirkung ist nur dort zu erwarten, wo sich administrative Entscheidungen auf die publik gemachte Vernachlässigung gängiger Leistungsstandards, quantitativer oder qualitativer Art, berufen können.

Die „Evaluitis“ hat die Wissenschaftssysteme erfasst und breitet sich dort epidemisch aus: dieser Diagnose von Bruno Frey (in diesem Band) kann man nur zustimmen. Ressourcenknappheiten auf der einen Seite und Legitimitätseinbußen der Wissenschaft hinsichtlich ihrer Selbststeuerungsfahigkeit auf der anderen Seite gelten als wesentliche Gründe dafür, dass der Staat stärker in die Wissenschaft hinein dirigieren möchte.

Das heutige Thema verdankt sich der Tatsache, dass die Franzosen übers Essen noch mehr reden als über die Liebe. Sie entwickeln bei Tisch mindestens so viel Leidenschaft wie im Bett. Niemand würde den Deutschen eine vergleichbare Passion attestieren. Dennoch gab es diesseits des Rheins einmal mindestens doppelt so viel Restaurantfuhrer wie jenseits, nämlich als bei uns noch jeder wusste, was ein Spesenritter ist. Große Küche war hierzulande also mal große Mode, in Frankreich oder Italien ist sie hingegen traditionelles Kulturgut.