Die Evaluation von Qualität – Ein Methodenvergleich anhand von Nachwuchsleistungszentren im deutschen Profifußball

Die Deutsche Fußball Liga (DFL) gibt an, dass durchschnittlich ca. 5600 talentierte Spieler im Alter von zwölf bis 19 Jahren in den Nachwuchsleistungszentren (NLZ) ausgebildet werden und in 279 Mannschaften spielen (DFL3 2019). Nach dem Vorrundenaus der deutschen A‑Nationalmannschaft (Männer)¹ bei der EM 2000 wurde in Deutschland durch den Deutschen Fußball-Bund (DFB) gemeinsam mit der DFL ein neues Konzept der Talentförderung etabliert, welches NLZ in den ersten beiden Bundesligen verpflichtend vorsah „Der Anschluss an die internationale Spitze, die man in den Jahrzehnten zuvor durch die Nationalelf und die Bundesliga-Clubs mitgeprägt hatte, war verloren. Es fehlten ein professioneller Unterbau, Spieler von Weltklasseformat und solche, die es werden konnten. Ein Neubeginn musste her, um den deutschen Fußball wieder zu alter Stärke zu führen. Was folgte, war eine radikale Umstrukturierung der Nachwuchsförderung, die weltweit hohe Anerkennung findet und 2014 in Brasilien mit dem Gewinn des vierten Weltmeistertitels ihren vorläufigen Höhepunkt fand“ (DFL3 2019). „Der Anteil der deutschen Spieler im Lizenzfußball hat seit Einführung der Leistungszentren im Jahr 2001 deutlich zugenommen“ (DFL3 2019).

NLZ werden durch Vereine geführt und sollen die besten Talente durch eine systematische Förderung auf spätere Anforderungen im Lizenzfußball vorbereiten (DFB1 2020). Für eine nachhaltige Qualitätssicherung und -messung wurde eine systematische Evaluation der zugehörigen Kompetenzen auf zwei Ebenen etabliert. Eine ebenso basale wie formale Lizensierung stellt das Vorhandensein der erforderlichen Funktionen sicher. Eine Zertifizierung quantifiziert, welche Kompetenzen in welcher Qualität im NLZ aufgebaut wurden (DFB1 2020). Diese Zertifizierungen werden zugleich jedoch als erheblicher Zusatzaufwand auf Seiten der Vereine empfunden. Teilweise sind über 1000 Seiten an Dokumenten für die Zertifizierung eines NLZ zu produzieren (Kroemer 2015).

Dieser Beitrag geht daher der naheliegenden, aber bislang unbeantworteten Forschungsfrage nach: Gibt es eine effizientere und zugleich valide Methode, die Qualität von NLZ im deutschen Profifußball zu evaluieren?

Hierzu werden zunächst Ziele und Hintergründe der NLZ im deutschen Profifußball erläutert und das durch den DFB und der DFL entwickelte Evaluationskonzept sowie die weiteren, vorliegenden Alternativen vorgestellt. Im Anschluss entwickeln und validieren wir eine alternative Methodik. Abschließend weisen wir auf die Limitationen unseres Beitrags hin, ziehen ein Fazit und geben einen Ausblick auf mögliche zukünftige Entwicklungen und etwaige Anknüpfungspunkte.

„Ziel des Aufbaus und der Unterhaltung von Leistungszentren im Rahmen der übergeordneten Ziele ‚Weltspitze in Bundesliga und Nationalmannschaften‘ sowie ‚Optimale Ausschöpfung des Talentpools‘ ist es, die Qualität der Talentförderung im Lizenzbereich und oberen Amateurbereich zu optimieren“ (DFL4 2019).

In der 1. und 2. Fußball-Bundesliga sind die 36 Vereine (18 je Liga) durch die Lizensierungsstatuten zum Aufbau eines NLZ verpflichtet. Grundsätzlich haben alle Vereine die Möglichkeit, ein NLZ aufzubauen. Aktuell gibt es in Deutschland 55 NLZ. Zu 36 Pflichtvereinen kommen aktuell zehn Vereine der 3. Liga und neun Vereine aus der Regionalliga (DFB1 2020). Die Richtlinien für die Errichtung und Unterhaltung von NLZ umfassen Kriterien, die sich an folgenden Aspekten orientieren: optimale Trainingsflächen, sportmedizinische Begleitung, Unterbringung externer Spieler in angemessenen Strukturen, optimale Qualität möglichst hauptamtlicher Trainer, funktionierende Strukturen und Konzepte zur schulisch-beruflichen Ausbildung, Scouting-Konzeptionen und Integration sportpsychologischer/-wissenschaftlicher Grundlagen in die Talentförderungskonzeption. Die grundsätzlichen Anforderungen, welche die Vereine für den Betrieb von NLZ erfüllen müssen, gehen aus der Lizenzierungsordnung (DFL1 2019) und den Richtlinien für die Errichtung und Unterhaltung von Leistungszentren der Teilnehmer der Lizenzligen hervor (DFL4 2019).

Qualitätsmanagement ist die „Gesamtheit der sozialen und technischen Maßnahmen, die zum Zweck der Absicherung einer Mindestqualität von Ergebnissen betrieblicher Leistungsprozesse angewendet werden (z. B. Qualitätskontrolle, Endkontrolle)“ (Duden online 2020). Der Begriff Qualitätsmanagement bezeichnet das Management hinsichtlich Qualität (DIN EN ISO 9000 2015). Die ISO 9000:2015 benutzt für die Erklärung des Begriffes Qualität folgende Definition: „Qualität ist der Grad, in dem eine Menge innewohnender Merkmale eines Objektes Anforderungen erfüllt“ (DIN EN ISO 9000 2015). Somit ist Qualität nicht nur die Güte eines Objektes, sondern der Zufriedenheitsgrad hinsichtlich der Erfüllung aller Erwartungen und Erfordernisse von Stakeholdern. Qualität wird eine quantifizierbare Größe, die anhand der Zufriedenheit von Stakeholdern ermittelt werden kann: sie ist messbar. Im betriebswirtschaftlichen Zusammenhang ist ein Managementsystem gekennzeichnet durch mehrere untereinander verknüpfte, sich gegenseitig beeinflussende Elemente, Abteilungen oder Bereiche eines Unternehmenns, das Politiken, Ziele und Prozesse festlegt, die die Zielerreichung verfolgen (Mai 2020). Über relevante Kennzahlen kann der Erfolg des Qualitätsmanagements gemessen werden.

Die Entwicklung und Implementierung des Qualitätsmanagements für NLZ im deutschen Profifußball folgt diesem Ansatz. Das Double Pass² Quality in Sports-Konzept (Pass-System³) identifizierte diverse Kompetenzbereiche als Qualitätsdimensionen mit mehreren Unterkategorien (Kroemer 2015).

Die Qualitätsdimensionen wurden zudem in Zusammenarbeit mit der DFL, dem DFB, der Agentur Double Pass und den Vereinen nach jedem Zyklus überarbeitet (Kroemer 2015). Abb. 1 zeigt die Entwicklungsstufen der Qualitätsdimensionen und deren Gewichtung seit der Einführung in der Saison 2007/08 mit PASS 1.0 bis hin zu PASS 4.0. Mit Pass 4.0 hat das Modell seinen bisherigen höchsten Reifegrad erreicht.

Zur Sicherung und Steigerung der Qualität werden zusätzlich Audits der NLZ – sog. Zertifizierungen – durchgeführt.

Die Vereine sind – neben der Lizensierung – dazu verpflichtet, an den regelmäßigen Zertifizierungen der NLZ teilzunehmen. Die Zertifizierung erfolgt seit 2007 durch den Serviceanbieter Double PASS mit dem System PASS 1.0 (Professional Academy Support System). Ein Zyklus erstreckt sich jeweils über drei Jahre. Die aktuelle Evaluation basiert auf der vierten Version PASS 4.0, die zum Saisonstart 2016/17 aufgelegt wurde (DFB2 2017).

Im Zertifizierungsprozess werden die Vereine aufgefordert, für alle Kriterien Nachweise zu erbringen. Die Datensammlung erfolgt softwarebasiert. Die dort hinterlegten Informationen sind die Basis für ein dokumentarisches Audit. Im Anschluss daran evaluieren zwei ExpertInnen der Agentur Double Pass die NLZ vor Ort. Gespräche und strukturierte Interviews der Beteiligten (z. B. Geschäftsführung, Vorstand, Sportmanagement, LizenztrainerInnen, MitarbeiterInnen, Spieler) und Beobachtungen von Trainingseinheiten und Spielen führen zu einer konsolidierten Bewertung. Die AuditorInnen bewerten die Ausprägung der Kriterien mittels eines Punktesystems (maximal erreichbare Punkte: 5000). Darauf aufbauende Scores messen die Qualität der einzelnen Dimensionen und des Gesamtsystems. Die Vergabe der Punkte ermöglicht damit ein Ranking aller NLZ (Kroemer 2015).

Im HR-Controlling werden eingesetzte Kennzahlen grob in inputorientiert und outputorientiert systematisiert (Wickel-Kirsch 2012). Inputorientierte Kennzahlen betrachten dabei z. B. eingegangene finanzielle, personelle und zeitliche Ressourcen. Outputorientierte Kennzahlen messen das Ergebnis von z. B. Bildungsmaßnahmen (Fritz 2012; Seeber et al. 2000). Der Double Pass Score ist den inputorientierten Kennzahlen zuzuordnen. Er misst, in welcher Qualität Kompetenzen im NLZ zur Talentausbildung entwickelt worden sind bzw. welcher Aufwand betrieben worden ist.

Ziel der NLZ ist es, Talente auf die Qualitätsanforderungen im Lizenzfußball vorzubereiten und mit einer Übernahme der Sportler in ihren Kader oder den Transfer zu anderen Vereinen sportliche und ökonomische Erfolge zu erzielen (DFB1 2020; DFL2 2019). Outputorientierte Indikatoren, die Erfolg messen, sind sowohl auf der sportlichen Ebene als auch der ökonomischen Ebene zu finden. Gängige Praxis sind Kennzahlen wie z. B. die Tabellenplatzierungen der Vereine in ihren Ligen, die erreichten Punktzahlen, die über mehrere Jahre in einer ewigen Tabelle dokumentiert sind oder einfache Zählungen von Spielern, die bestimmten Kriterien genügen. Aber auch Indikatoren, die eine monetäre Bewertung der Spieler vornehmen und ein Ranking der NLZ über die Summe des Indikators ermöglichen, zählen zu dieser Klasse.

Abb. 2 zeigt eine Übersicht gängiger Indikatoren mit einer Bewertung ihrer Eignung zur Messung der Qualität von NLZ.

Die Messung des Erfolgs von NLZ kann nur näherungsweise über die in Abb. 2 genannten Kennzahlen erfolgen: Der UEFA Clubkoeffizient bewertet den Erfolg eines Vereins anhand der erreichten Punktzahlen in europäischen Wettbewerben. Diese Bewertung ist nicht aussagekräftig genug, um den Erfolg eines NLZ zu messen, denn nur 15,1 % der Spieler eines Vereins in den deutschen Profiligen sind in dem zu diesem Verein gehörenden NLZ ausgebildet worden (CIES18_1 2018). Mit einem Anteil der zum Kader hinzugeholten Spieler von 84,9 % kann der Erfolg eher diesen Spielern zugeordnet werden. Die Kennzahlen CIES Anzahl Big-Five⁴ Spieler und ECA Anzahl Spieler, die Profifußballer geworden sind zielen bereits auf eine Bewertung des Spielers und nicht des Vereins ab. Die Einstufung der Qualitäten eines Spielers schwingt implizit mit, da der Spieler so gute Kompetenzen entwickelt hat, dass er einen Profivertrag erhält und das eventuell sogar in einer der Top-Ligen der Big-Five. Dies reicht aber nicht aus, um die Qualität eines Spielers explizit zu bewerten. Die CIES Transferwerte, Eschweiler & Vieth Ablösesumme sowie der Transfermarkt.de Marktwert beziehen spielerspezifische Determinanten in die Bewertung ein, berücksichtigen aber zu einem großen Teil in ihren Kalkulationen subjektive Einschätzungen insbesondere des Geschehens auf dem Transfermarkt, Prognosen zukünftiger Einnahmen aus Merchandising oder Teilnahme an internationalen Wettbewerben. Die Qualität des Spielers wird in Euro gemessen. Das hohe Maß an Subjektivität auf mehreren Ebenen (Interpretationen von Gerüchten, Erzeugung prospektiver Daten, die wiederum abhängig sind von den Erfahrungen des Einzelnen) verzerrt die Bewertung der Leistung der NLZ und damit fehlt nach wie vor eine zugleich valide und effiziente Methode. Auch der Ansatz von Wallebohr und Daumann (2019) für eine ähnlich gelagerte Fragestellung in der Schweiz weist ein konsistentes Vorgehen auf, jedoch fehlt eine Kriterienvalidierung.

Ziel dieses Beitrags ist es ein Modell zu entwickeln und empirisch zu überprüfen, mit dem der Erfolg von NLZ – hervorgebrachte Spielerqualität – gemessen werden kann.

Für die Entwicklung des Indikators Spielerqualität NLZ ist vor dem Hintergrund der Effizienzorientierung des Ansatzes analog zu Wallebohr und Daumann (2019) eine Datenbasis gewählt worden, zu der ein niedrigschwelliger Zugang besteht: die Online-Plattform Transfermarkt.de. Sie enthält umfassende Daten zu Spielern, Vereinen und Ligen im internationalen Fußballgeschäft. Es werden nachprüfbare Statistiken mit persönlichen und sportlichen Daten der Spieler, z. B. objektive Daten wie Torquoten, Spielminuten, Verletzungen und intersubjektive Daten wie z. B. Marktwerte bereitgestellt. Die für unsere Studien relevanten Daten wurden extrahiert und in einer eigenen Datenbank abgelegt. Die Datenbank enthält Informationen aus 462 verschiedenen Ligen aus 248 abhängigen und teil-autonomen Staatsgebieten (im Folgenden Länder genannt). Verzeichnet sind insgesamt 120.675 gespielte Halbsaisons⁵ von Spielern aus 4947 Vereinen über einen Zeitraum von 16 Jahren (32 Halbsaisons). Die daraus gezogene Stichprobe für unsere Analyse der Spielerqualität, enthält alle Spieler, die mindestens eine Halbsaison in einem der NLZ der deutschen Profifußballligen ausgebildet wurden und die in der Folge mindestens ein Spiel als Profifußballspieler in einer der erhobenen Ligen absolviert haben (n = 3790). Die Qualität eines Spielers kann nur im Kontext der Vereins- bzw. Ligaqualität bewertet werden. Isoliert betrachtet lassen sich die Kennzahlen eines Spielers (z. B. Torquote und Anzahl Spiele) nicht sinnvoll interpretieren.

Für die Frage, ob eine outputorientierte Bewertung mittels der \(SQ_{\mathrm{NLZ}}\) (Spielerqualität NLZ) eine valide Evaluationsmethode darstellt, bietet sich eine konvergenten Validierung anhand der Scores der Double Pass Scoring-Zertifizierung mit der Spielerqualität NLZ an. Für diesen Beitrag wurde der Pass 3.0-Zyklus (M = 62,12; SD = 14,16) ausgewählt, da zum Zeitpunkt der Datenerhebung der Pass 4.0-Zyklus noch nicht abgeschlossen war. Abb. 4 zeigt graphisch die resultierende empirische Validität von r = 0,71. Die inputorientierte Messung ist vermutlich messfehlerbehaftet. Daher haben wir die gemittelte Korrelation zwischen PASS 1.0 und 2.0, PASS 2.0 und 3.0 und PASS 3.0 und 4.0 verwendet, um mit der Korrelation die Retest-Reliabilität zu schätzen. Die Reliabilität wurde dann in einer einfachen Minderungskorrektur verwendet (Muchinsky 1996) und ergibt eine korrigierte Validität von r = 0,84 – eine starke Korrelation (Döring und Bortz 2016, S. 470; CIES18_2 2018).

Auf Basis unserer Ergebnisse lassen sich exploratorisch in Abb. 4 drei Gruppen ausmachen. Im oberen rechten Teil – die NLZ, die einen hohen Gesamtscore PASS 3.0 und auch eine hohe Spielerqualität NLZ ausweisen – befinden sich 8 Vereine, von denen 7 zum Zeitpunkt der PASS 3.0 Zertifizierung in der 1. Bundesliga gespielt haben⁶. Im mittleren Bereich haben wir 14 Vereine identifiziert, die einen relativ hohen PASS 3.0 Score aufweisen, aber lediglich eine mittlere Spielerqualität NLZ. Von diesen Vereinen spielten 50 % in der 2. Bundesliga. Im niederen linken Teil haben wir eine hohe Anzahl an NLZ, die in der 3. Liga oder einer niedrigeren Spielklasse angesiedelt sind. Das liegt nach unserer Ansicht am Umstand, dass für Vereine der 1. Bundesliga und etwas eingeschränkter auch der 2. Bundesliga mehr und bessere Informationen vorliegen. Ab der 3. Liga sind die Daten nicht mehr in der Breite verfügbar. So werden in niedrigeren Ligen die Daten der Spieler schlechter erfasst, sobald sie unter dem Niveau des Ausbildungsvereins liegen. Auch kann der Transfer von Nachwuchsspielern in niedrigere Ligen zunehmend schlechter von den Datenbanken abgebildet werden.

Die bisher von DFB und der DFL genutzte inputorientierte Bewertung der NLZ misst mittels einer zeitaufwändigen Auditierung, in welcher Ausprägung die organisationalen Kompetenzen für die Talentausbildung im NLZ entwickelt worden sind bzw. welcher Aufwand betrieben worden ist. Es lässt sich festhalten, dass der beschriebene outputorientierte Evaluationsansatz des Kompetenzmanagements der NLZ deutscher Fußballvereine ein sehr ähnliches Ergebnis aufweist wie die bisherige Zertifizierung – bei Kosten, welche um mehrere Zehnerpotenzen niedriger liegen dürften.

Die vorliegende Untersuchung weist durchaus Einschränkungen auf: Unsere Methodik wurde lediglich validiert gegen einen Zyklus des Double Pass Systems (PASS 3.0), da zum Zeitpunkt der Analyse der Zyklus 4.0 noch nicht vollständig vorlag. Eine Überprüfung der Validität mit einem Re-Test sollte zu gegebenen Zeitpunkt auf Basis der Daten des 4. Zyklus erfolgen. Darüber hinaus sinkt in den unteren Ligen die Präzision des Modells, weil zunehmend weniger Daten vorliegen. Empfehlenswert ist unser Ansatz bislang vor allem in der 1. und 2. Bundesliga. Durch den langen Betrachtungszeitraum von 16 Jahren besteht das Risiko, dass die Daten für die Spieler für alle Ligen nicht vollständig auf Transfermarkt.de verzeichnet sind. Eine systematische Analyse der Vollständigkeit und Fehlerträchtigkeit der Daten könnte fundiertere Aussagen zur Qualität der zur Verfügung stehenden Daten geben. Weiterhin ist zu bemerken, dass die Operationalisierung der Parameter für die Ermittlung der Spielerqualität NLZ – Vereinsqualität und Spielerqualität Spieler – bewusst einfach gehalten wurde. Im Vordergrund unserer Untersuchung stand das Ziel, explorativ eine zugleich effiziente und valide Methode mit leicht zugänglichen Daten zu entwickeln. Die Ermittlung der Spielerqualität Spieler zum Beispiel könnte um ein vieles mehr an direkten Einflussfaktoren auf die Spielerqualität – Verletzungen, gespielte Minuten, Position, Zweikämpfe oder ähnliches – erweitert werden, falls eine intensivere Auseinandersetzung mit diesem Faktor als notwendig erachtet wird. Schließlich kann der vorgestellte Ansatz den entstehenden Aufwand der Vereine sowie die erforderlichen Kosten zwar drastisch reduzieren, eine Interpretierbarkeit einzelner Dimensionen des Qualitätsmanagements ist jedoch nicht mehr möglich. In zukünftigen Untersuchungen könnte beispielsweise die faktorielle Homogenität der PASS-Daten analysiert werden, um diesen Nachteil zu quantifizieren.

Die Bewertungsmethode ist geeignet die bisher gängige Praxis – über den Double Pass Score die Qualität der NLZ zu bewerten und damit ein Ranking der NLZ zu erstellen – zu ersetzen. Unser outputorientierter Ansatz ersetzt nicht die Qualitätssicherung und -weiterentwicklung der relevanten Kompetenzen zur Talentausbildung (Input), liefert aber eine an dem Ziel eines NLZ orientierte, vermutlich effizientere valide Evaluation des Erfolgs der Arbeit von NLZ anhand des Outputs – hervorgebrachte Spielerqualität. In den letzten Jahren hat die sportwissenschaftliche Forschung zur Entwicklung von Fachwissen im Fußball erheblich zugenommen: Viele dieser Studien konzentrieren sich auf Aspekte des Entwicklungsprozesses der Spieler (Komponenten, alters- und entwicklungsabhängige Komponenten z. B. aus dem psychologischen Bereich oder der Trainingslehre⁷). Der Indikator Spielerqualität NLZ könnte auch hier für eine ergebnisorientierte effiziente valide Erfolgskontrolle der Interventionen über die Zeit angewendet werden.

Profivereine importieren einen großen Teil der Spieler aus dem Ausland – europäisch und auch weltweit. Der Internationalisierungsgrad einer Mannschaft wird gemessen durch den Anteil der Expatriates – Spieler, die außerhalb der deutschen Ligen aufgewachsen sind, aber in einem deutschen Verein spielen. Die 1. Bundesliga weist einen Anteil von 50,2 % Expatriates auf (CIES19_1 2019), die in ihren Heimatländern zum überwiegenden Teil an Talentförderungsprogrammen teilgenommen haben oder eine Jugend-Fußballakademie besucht haben. Eine Ausweitung der Analysen von Vereins- und Spielerqualitäten auf internationale Spieler und Vereine könnte sehr hilfreich für die Beteiligten des Arbeitsmarktes Fußball (Spieler, Vereine, Scouts, SpielerberaterInnen) sein. Auch eine Überarbeitung der Konzepte der Talentförderung könnte von einem internationalen Vergleich – in einem ersten Schritt der Nachwuchsarbeit in den Big-Five-Ligen – profitieren.

Deutsche NLZ befinden sich im internationalen Wettbewerb um Talente und Perspektivspieler. Das bringt Unsicherheiten in Bezug auf eine langfristige Planung und Positionierung auf den Märkten mit sich. Um sich an die Veränderungen im Markt anzupassen und aktiv Bewältigungsstrategien für die derzeitigen und zukünftigen Herausforderungen zu entwickeln, sind Dynamic Capabilities⁸ erforderlich. Vereine müssen heute gute Leistungen hervorbringen und sich zugleich für die Zukunft aufstellen. Sie befinden sich damit im Spannungsfeld der Nutzung bestehender Kompetenzen und der Erschließung von innovativen Ansätzen. Dieses Spannungsfeld wird durch das Konzept der Ambidextrie (O’Reilly III und Tushman 2004) – einer speziellen Ausprägung von Dynamic Capabilities – abgebildet. Eine Fallstudie mit einer Evaluation der Anpassungswilligkeit und -fähigkeit über die vier Zyklen der Zertifizierung hinweg könnte einen vertiefenden Einblick in die Kompetenzentwicklung von Organisationen am Beispiel der NLZ geben.

Die Umsätze der Vereine zeigen eine starke Entwicklung zum Vorjahr in den letzten Jahren (Saison 2014/15: 3,13 Mrd (+8 %); 2015/16: 3,85 Mrd (+23 %); 2016/17: 4,01 Mrd (+4 %) (DFL2 2019)). Einnahmequellen sind Merchandising, Tickets, Anteile aus den Fernsehrechten, aber auch Transfererlöse für Spieler. Die Transfereinnahmen der Bundesligavereine sind insgesamt gestiegen (Statista 2020). Das Wissen über den Anteil der selbst ausgebildeten Spieler und damit deren Anteil am wirtschaftlichen Erfolg könnte zu Studien führen, die den Erfolg der NLZ mit betriebswirtschaftlichen Kennzahlen messen. Die Kalkulation des Return on Investment (ROI) könnte zum Beispiel die Attraktivität von Investitionen in ein NLZ – als Geschäftsmodell – messen und in der Praxis wirtschaftliche strategische Entscheidungen des Managements oder eines Sponsors unterstützen.