In diesem Beitrag der Zeitschrift Gruppe. Interaktion. Organisation. (GIO) wird das Instrument zur Diagnose pädagogischer Kompetenzen von Pflegelehrpersonen (PädKomPflege) vorgestellt.
Die Berufsbildung in der Pflege ist durch sich verändernde inhaltliche und gesetzliche Anforderungen geprägt. Verschiedene landesspezifische rechtliche Vorgaben führen zu einem sehr heterogenen Bild von Qualifikationen und Kompetenzen der Pflegelehrpersonen. Die Anrechnung bereits erworbener Kompetenzen auf pflegepädagogische Studiengänge sowie die Kompetenzerfassung und -bilanzierung in Berufsbildungseinrichtungen spielt daher eine wichtige Rolle. Vor diesem Hintergrund wurde das Instrument PädKomPflege entwickelt und erprobt. Grundlage des Kompetenzmodells sind die Empfehlungen der Kultusministerkonferenz (2004) zu den Standards für die (allgemeine) Lehrerbildung sowie Expertenworkshops und -interviews mit PflegedidaktikerInnen. Die empirische Erprobung erfolgte an einer Stichprobe von 1096 Pflegelehrpersonen. Psychometrische Analysen auf Grundlage der klassischen Testtheorie sowie IRT-basierte Analysen führten zu einer Überarbeitung des Instruments, welches nun als zweisprachiges Online-Self-Assessmenttool (eng./deut.) vorliegt. Die Validierung der deutschsprachigen Version fand anhand von 545 TeilnehmerInnen im Jahr 2016 statt, sodass ein geprüftes Instrument mit 54 Items in den fünf Hauptskalen (Unterricht, Beurteilung, Beratung, Lernortkooperation sowie Organisations- und Schulentwicklung) und 18 Subskalen zur Verfügung steht.
Sowohl klassische als auch probabilistische Testgütekriterien werden erfüllt. Die Skalen weisen hohe interne Konsistenzen auf (α > 0,80) und sind überwiegend konstruktvalide. So lassen sich für 17 der 18 Subskalen ordinale Raschmodelle anpassen. Auf der Ebene der Hauptskalen können Partial Credit Modelle für alle Items von modellkonformen Subskalen einer Hauptskala angepasst werden. Das Instrument kann zur individuellen Kompetenzdiagnostik, zur Identifikation von Bildungsbedarfen in Schulen des Gesundheitswesens und im Kontext beruflicher Bildungsprozesse genutzt werden. In der Onlineversion erhalten Teilnehmende abschließend ein individuelles Kompetenzprofil mit möglichen Vergleichswerten. Das Tool kann begleitend zu Qualifizierungsprozessen als Monitoring-Instrument oder zur individuellen Kompetenzbilanzierung eingesetzt werden.
1 Problemstellung und Hintergrund
1.1 Qualifizierungswege im Berufsbereich Pflegelehrkraft
Pflegelehrpersonen arbeiten in pflegerischen Berufsausbildungen oder in Studiengängen zur/m Pflegefachfrau/‑mann (Gesundheits- und Krankenpflege). Die Ausbildung zur Pflegelehrkraft ist historisch gewachsen und war lange Zeit staatlich nicht reguliert. Der Akademisierungsprozess in der pflegerischen Berufsausbildung hat mit den ansteigenden Qualifikationen von Pflegelehrpersonen begonnen. Bis in die 90er-Jahre war eine berufliche Weiterbildung als zweijährige Vollzeitmaßnahmen (Umfang bis zu 3000 Unterrichtsstunden) die Regelqualifizierung für eine Pflegelehrperson, mittlerweile sind es berufs- oder pflegepädagogische Bachelor- und Masterstudiengänge (vgl. Bischoff-Wanner 2008). Seit der staatlichen Regelung der Ausbildung von Pflegelehrpersonen (vgl. Krankenpflegegesetz 2003) haben sich unterschiedliche Studienmodelle entwickelt. Es lassen sich v. a. die folgenden Qualifikationswege auffinden, sowie deren Kombinationen, die unterschiedliche Schwerpunkte in Bezug auf den Kompetenzerwerb legen:
Abschluss einer Weiterbildung (z. B. zur Lehrer/-in für Pflegeberufe)
Studienabschluss Diplom (z. B. Berufspädagogik, Medizinpädagogik)
Studienabschluss Bachelor (z. B. BA of Arts, BA of Science)
Studienabschluss Master (z. B. MA of Science., MA of Arts, MA of Education)
Abschluss einer Promotion (ggf. mit fachwissenschaftlichen und/oder pädagogischen Schwerpunkt)
Abschluss einer Habilitation (ggf. mit fachwissenschaftlichen und/oder pädagogischen Schwerpunkt)1
In Berufsbildungseinrichtungen sind somit Pflegelehrpersonen mit unterschiedlichen formalen Qualifikationen und Kompetenzen beschäftigt: Etwa die Hälfte ist durch eine Vollzeitweiterbildung, ein Drittel durch ein mehrjähriges Hochschulstudium und ein Zehntel über eine doppelte Qualifikation aus Weiterbildung plus Studium qualifiziert (vgl. Knigge-Demal und Schürmann 2008; Knigge-Demal et al. 2010).
Anzeige
1.2 Herausforderungen bei der Kompetenzerfassung
Kompetenzdiagnosen und -messungen stellen grundsätzlich eine Herausforderung dar, weil diese nur bedingt beobachtbar und deren Handlungskonsequenzen nur aufwändig messbar sind. Insbesondere im Kontext pädagogischer Kompetenzdiagnostik kann eine Messung aufgrund der Komplexität von Unterrichtssituationen nur schwer bzw. mit einem großen Entwicklungsaufwand (z. B. Vignettentests, Beobachtungsverfahren, Lehr- oder Unterrichtsproben) umgesetzt werden. Hinzu kommt, dass verschiedene Rahmenbeding-ungen die Handlungen eines Lehrers beeinflussen, die nur schwer in einem Instrument abgebildet werden können (vgl. Baumert und Kunter 2006). Dazu zählen unter anderem institutionelle Rahmenbedingungen einer Schule, die Erfolgsunsicherheit des Lehrendenhandelns, das Management der Gruppe, die Mitverantwortung der SchülerInnen an den Erfolgen des Lehrenden sowie die Tatsache, dass ein höheres oder geringeres Engagement nicht zwingend unterschiedliche Konsequenzen nach sich zieht (vgl. Kunter und Pohlmann 2009).
Die Forschungslandschaft der Instrumente zur Erfassung pädagogischer Kompetenz ist vielfältig und erfolgt aus unterschiedlichen Fachrichtungen heraus (z. B. aus den Fachdidaktiken, der Psychologie, der Bildungs- und Erziehungswissenschaften oder den Methoden der Testkonstruktion). Eine verbreitete Möglichkeit ist, zentral ausgearbeitete Standards zur Lehrerbildung (vgl. Kap. 2.1) in Messinstrumente zu überführen, um die Kompetenzausprägung anhand der Erreichung der Standards einzuschätzen (z. B. Erfassung bildungswissenschaftlicher Kompetenzen auf Basis der KMK Standards, vgl. Müser et al. 2017). Auch existieren bereits einige empirische Studien zur Relevanz von pädagogischer Kompetenz von Lehrpersonen zu Unterrichtshandeln. Insbesondere im Bereich des fachspezifischen und pädagogischen Wissens liegen Studienergebnisse vor, die einen Zusammenhang zu qualitätsvollem Unterricht herstellen (vgl. z. B. Hill et al. 2005; König et al. 2014).
Das Instrument zur Erfassung der pädagogischen Kompetenzen von Pflegelehrpersonen (PädKomPflege) lehnt sich an verbreitete Vorgehensweisen der Forschungslandschaft zur Kompetenzerfassung in Bildungskontexten an, indem es auf Basis der Standards in der Lehrerbildung (vgl. KMK 2004) entwickelt wurde.
2 Theoretische Bezüge
2.1 Begriffsdefinitionen
2.1.1 Kompetenzen
Kompetenzen im Allgemeinen meinen die fach- und berufsübergreifenden Leistungsvoraussetzungen, die Individuen zu Handlungen befähigen, bei denen sie noch nicht auf vorhandene Wissensvoraussetzungen zurückgreifen können (vgl. Nerdinger et al. 2014). Der Begriff Kompetenz schließt somit – im Unterschied zu Performanz – nicht unbedingt eine spezifische beobachtbare Handlung mit ein (vgl. Schaper et al. 2007).
In beruflichen Kontexten kann zwischen Kompetenzen auf persönlicher und organisationaler Ebene unterschieden werden (vgl. Schaeper und Spangenberg 2008). So werden Kompetenzen auch als erlernbare Fähigkeiten von Beschäftigten (oder Organisationen) beschrieben, um Aufgaben auszuführen (vgl. z. B. Reinhardt und North 2003), bzw. gehen Heid und Harteis (2010) sogar davon aus, dass sich sachliche Faktoren (wie Arbeitsorganisation) und personale Faktoren gegenseitig bedingen.
Im Berufsfeld von Lehrpersonen ist professionelles Handeln vor allem durch eine hohe Situationsspezifität gekennzeichnet, wie beispielsweise dem Treffen von kontextspezifischen ad-hoc Entscheidungen (vgl. Kunter und Pohlmann 2009). Als Basis für die Entwicklung des Messinstruments PädKomPflege wird aus diesem Grund auf eine kontextspezifische Betrachtung von Kompetenz zurückgegriffen, die in hohem Maße Anerkennung in der Kompetenzforschung von Lehrpersonen findet (u. a. Baumert und Kunter 2006; 2011), und Kompetenz definiert als:
die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können (Weinert 2001, S. 27f.)
Klieme und Leutner (2006) schlagen in Bezug auf die Definition von Weinert (2001) eine inhaltliche Fokussierung des Kompetenzbegriffs vor, die sich vor allem auf die erlernbaren kognitiven Kompetenzaspekte bezieht und somit besonders gut für Bildungssysteme und -prozesse anwendbar ist.
Kompetenzen zeichnen sich weiterhin dadurch aus, dass sie sich auf unterschiedlichen Niveaustufen in Bezug auf die Schwierigkeit oder Komplexität der Anforderungen entwickeln (vgl. Watermann und Klieme 2006). In beruflichen Kontexten werden gängiger Weise bestimmte Expertisegrade oder Kompetenzstufen unterschieden (vgl. Nutbeam 2000). Eine Möglichkeit, eine stufenweise Kompetenzentwicklung zu systematisieren, bietet die Lernzieltaxonomie von Bloom (1976) sowie die darauf aufbauende Matrix von Anderson und Krathwohl (2001), auf die zur Entwicklung des Kompetenzmodells für Pflegelehrpersonen zurückgegriffen wird (vgl. Kap. 3). Die sechs taxonomischen Stufen zur Kompetenzentwicklung reichen von einer reinen Wiedergabe des Wissens bis hin zur Bewertung und sind mit handlungsorientierten Verben hinterlegt (u. a. „Erinnern“, „Verstehen“, „Anwenden“, „Analysieren“, „Bewerten“ und „(Er-) schaffen“; Anderson und Krathwohl 2001).
2.1.2 Qualifikationen
Generell können Kompetenzen von Qualifikationen abgegrenzt werden. Der Kompetenzbegriff ist grundsätzlich weiter gefasst. Qualifikationen beinhalten vor allem (auf formalem Weg erwerbbare) berufliche Fertigkeiten, Kenntnisse und Fähigkeiten (Nerdinger et al. 2014).
2.1.3 Standards
Der Standardbegriff beschreibt einen Maßstab für den jeweiligen Ausprägungsgrad von Kompetenzen (vgl. KMK 2004) und bildet in diesem Verständnis die normative Grundlage professioneller Handlungen (vgl. Klieme 2004). Konzeptionen von Standards gelten als systematisch ausgearbeitete Handlungserwartungen und Forderungen an die Handlungskompetenz von Lehrkräften. In der Diskussion um die Qualität pädagogischer Arbeit haben Standards die Funktion, die Ergebnisse bzw. „Outputs“ von Bildungseinrichtungen stärker zu kontrollieren und dadurch Bildungssysteme besser steuern zu können (vgl. Klieme 2004). Die zentralen Standards in der Lehrendenbildung werden herausgegeben vom Sekretariat der Ständigen Konferenz der Kultusminister der Länder (KMK) und formulieren die Standards für die Bildungswissenschaften (vgl. KMK 2004). Sie definieren die allgemeinen Anforderungen, die Lehrerpersonen für Disziplinen der Bildungs- und Erziehungswissenschaften erfüllen sollen, und gelten als Regelstandards (im Unterschied z. B. zu Mindeststandards). Sie lassen sich untergliedern in die vier großen Bereiche Unterrichten (fach- und sachgerechte Unterrichtsdurchführung, Gestaltung von Lernsituationen, Förderung selbstbestimmten Lernens), Erziehen (z. B. Vermittlung von Werten und Normen), Beurteilen (z. B. Diagnose von Lernvoraussetzungen und Prozessen) und Innovieren (z. B. Verständnis des Berufs als ständige Lernaufgabe) (vgl. KMK 2004). Die Beschreibung eines Standards aus dem Kompetenzbereich Unterrichten lautet beispielsweise „Lehrerinnen und Lehrer planen Unterricht fach- und sachgerecht und führen ihn sachlich und fachlich korrekt durch.“ (KMK 2004, S. 7). Viele Kompetenzmodelle zur Erfassung pädagogischer Kompetenzen und aus dem Berufsfeld von Lehrkräften legen die Standards für die Bildungswissenschaften (vgl. KMK 2004) zugrunde (vgl. z. B. Brovelli et al. 2011).
2.2 Kompetenzmodelle und -erfassung
Forschungsrichtungen und Ergebnisse zu professioneller Handlungskompetenz von Lehrpersonen sind nach wie vor uneinheitlich. Eine stark ausgeprägte und international ausgerichtete Forschungslinie in Bezug auf Kompetenzmodelle und -messinstrumente für Lehrkompetenz hat in erster Linie die „Sicherung einer qualitätsvollen Lehrerausbildung im Blick“ (Baumert und Kunter 2006, S. 469). Allerdings sind durch pragmatisches und fachspezifisch unterschiedliches Vorgehen auch unterschiedliche Kompetenzmodelle entstanden, die teilweise schwer vergleichbar sind und in einigen Fällen auch eine theoretische Grundlegung fehlt (ebd.).
Anzeige
Zum einen existieren Modelle, die eher verallgemeinerbare Lehrkompetenzen beschreiben und vor allem der erziehungswissenschaftlichen Forschung zuzuschreiben sind (vgl. etwa Frey und Jung 2011; Schaeper und Spangenberg 2008; Cramer 2010). Untersuchungen zielen dabei tendenziell auf eine Beschreibung der Profession „Lehrer/in“ als Ganzes ab. Auf der anderen Seite werden fachspezifische Kompetenzen aus verschiedenen beruflichen Domänen abgeleitet, wobei die Kompetenzfacetten insbesondere durch die fachspezifischen Bedingungen und Besonderheiten bestimmt werden – wie in diesem Fall z. B. die Spezifität von Pflege- und Gesundheitsberufen.
Über die Lehrerbildung hinausgehend existieren u. a. bedeutende Kompetenz(mess)modelle für TrainerInnen im Bereich beruflicher Weiterbildungsmaßnahmen (Grohmann et al. 2021). Diese folgen einer Differenzierung der Kompetenzen hinsichtlich der Dimension Fach‑, Methoden‑, Sozial- und Selbstkompetenz, die auch in weiteren Domänen verbreitet sind (Erpenbeck und Rosenstiel 2007; Kauffeld 2006).
3 PädKomPflege: Kompetenzmodell, Instrumentenentwicklung und -überprüfung
Die Entwicklung des Kompetenzmodells, des Instruments und dessen Überprüfung erfolgten in einem mehrstufigen Verfahren. Der Entwicklungs- und Überprüfungsprozess erfolgte in den vier Phasen Entwicklung des Kompetenzmodells und -messmodells, Vorstudie, Reanalyse der Daten und Validierungsstudie (Tab. 1).
Tab. 1
Darstellung des vierstufigen Entwicklungsprozesses
Arbeitsschritt
Zielsetzung
Methodische Umsetzung
1. Entwicklung des Kompetenzmodells und -messmodells
Modellbasierte Instrumentenentwicklung
Ableitung der Kompetenzdimensionen und Items auf Basis des Kompetenzverständnisses nach Weinert (2001) sowie der KMK Standards (2004), Berufsfeldanalyse (Expertenworkshops und -interviews)
Revision des Instruments (Itemreduktion und -reformulierung)
Prüfung klassischer Testgütekriterien und dichotomer sowie ordinaler Raschmodell für Subskalen
4. Validierungsstudie – Online-Selfassessment
Instrumentenvalidierung
Übersetzung der Items im team approach Verfahren, psychometr. Überprüfung der Items durch ordinale Raschmodell für Sub- und Hauptskalen
3.1 Entwicklung des Kompetenz- und -messmodells
Als Ausgangspunkt für die Entwicklung eines Kompetenzmodells dienen Konzeptionen guter Lehrpersonen sowie reale Handlungsanforderungen. Hieraus sollen Kompetenzen abgeleitet und empirisch ermittelt werden, die eine gute Lehrkraft ausmachen (vgl. Terhart 2002). Die theoriebasierte Ableitung der Kompetenzdimensionen für das Kompetenzmodell des PädKomPflege erfolgte dabei im ersten Schritt unter Berücksichtigung der Empfehlungen der Kultusministerkonferenz zu den Kompetenzen in der allgemeinen Lehrerbildung (vgl. KMK 2004), sowie Dokumenten aus der Pflege- und Berufspädagogik und ordnungspolitischen bzw. rechtlichen Rahmenbedingungen.
Die theoretischen Analysen zur Entwicklung des Kompetenz(mess)modells für Pflegelehr-personen wurden mit empirischen Analysen kombiniert, im Rahmen von Workshops und Experteninterviews wurden relevante Handlungsfelder identifiziert und berufstypische Situationen von Pflegelehrpersonen abgeleitet (zum Vorgehen vgl. Schürmann und Grebe 2014).
Im Kompetenzmodell (vgl. Abb. 1) werden fünf verschiedene Dimensionen unterschieden: Unterricht, Beurteilung, Beratung, Lernortkooperation, sowie Organisations- und Schulentwicklung.
Abb. 1
Kompetenzmodell PädKomPflege
×
Die Kompetenzdimension Unterricht ist gekennzeichnet durch Kenntnisse in pädagogischen und lerntheoretischen Ansätzen und fachdidaktischen Konzepten sowie den Fähigkeiten und Fertigkeiten, diese anzuwenden und bewerten zu können. Darüber hinaus handelt es sich um Kenntnisse über fachwissenschaftliche Ergebnisse und deren Anwendung im Unterrichtskontext, Möglichkeiten zur Förderung selbstbestimmten und kooperativen Lernens und Arbeitens sowie Kenntnisse zur handlungs- und lernfeldorientierten Unterrichtsgestaltung. Methoden der Unterrichtsevaluation, deren Anwendung und Bewertung runden diese Dimension ab. Die Dimension Beurteilung umfasst Fähigkeiten zur Anwendung und Beurteilung von Systemen und Instrumenten zur Leistungsmessung und Leistungsbeurteilung sowie zur Lernprozessdiagnostik. In der Dimension Beratung spiegeln sich hohe Kompetenz-einschätzungen in Kenntnissen zu Beratungs- und Kommunikationstheorien und -modellen sowie in der Fähigkeit zu deren Anwendung und Beurteilung wieder und Fähigkeiten zur Führung von Beratungsgesprächen sowie zur Konflikt- oder Krisenintervention.. Die Dimension Lernortkooperation umfasst Kenntnisse zur Berücksichtigung von Anforderungen in der Berufspraxis, der Fähigkeit dies mit curricularen Ansprüchen in Einklang zu bringen und Praxisbedingung kritisch bewerten zu können. Die fünfte Dimension umfasst Kompetenzen zur Entwicklung von Organisationen bzw. von Schulen. Darunter fallen Kenntnisse zu institutionellen und rechtlichen Rahmenbedingungen der Ausbildung, zum Aufbau und zur Nutzung von Kooperationsstrukturen mit anderen Organisationen, zu Verfahren und Instrumenten der Schul- und Qualitätsentwicklung sowie Fähigkeiten zur Entwicklung schuleigener Curricula.
Die differenzierte Beschreibung der Kompetenzausprägungen innerhalb der Dimensionen erfolgt auf drei Niveaustufen. Die erste Niveaustufe umfasst dabei grundlegende Kenntnisse sowie Wissen um Theorien und Modelle der jeweiligen inhaltlichen Dimension. Kompetenzen der zweiten Niveaustufe beinhalten die Fähigkeiten, die jeweiligen Handlungen auch durchzuführen bzw. bestimmte Verfahren anzuwenden (z. B. Leistungsbeurteilung, Unterrichtsgestaltung). Die Niveaustufe drei umfasst Fähigkeiten des Bewertens und Beurteilens auf der Grundlage wissenschaftlicher Kriterien (wie z. B. die Qualität fachdidaktischer Konzepte). Das Niveaumodell wird als ein hierarchisches System der Kompetenzen verstanden, die jeweils aufeinander aufbauen und die jeweilige vorausgehende Niveaustufe als Bedingung der folgenden Stufe gesehen wird. Diese Unterscheidung greift damit grundlegende Aspekte von Lernzieltaxonomien zur Systematisierung von Kompetenzentwicklungsprozessen auf (vgl. Bloom, 1976; Anderson und Krathwohl 2001), die davon ausgehen, dass die Konstruktion von Wissen in den übergeordneten Abstufungen vom Kennen bis hin zum Beurteilen erfolgt.
3.1.1 Aufbau des Instruments (Itembeispiele und Skalenübersicht)
In Anlehnung an das Kompetenzmodell (Abb. 1) deckt das Instrument PädKomPflege zur (Selbst‑)Diagnose sowohl die Breite und Heterogenität der beschriebenen Handlungsfelder pädagogischer Kompetenzen von Pflegelehrpersonen, als auch die Tiefe unterschiedlicher Schwierigkeitsstufen in Bezug auf die Kompetenzausprägung ab. Es besteht aus insgesamt 54 Items, die sich den 18 Subskalen und 5 Hauptskalen zuordnen lassen2.
Jede Subskala besteht aus drei Items mit den unterschiedlichen Itemschwierigkeiten (bezogen auf die Kompetenzausprägungen in drei Niveaustufen; vgl. Kap. 3.1, angelehnt an Anderson und Krathwohl 2001). Die Items sind als „Ich“-bezogene Fähigkeits- oder Handlungsbeschreibung formuliert und werden auf einer sechsstufigen Likert-Skala (trifft gar nicht zu–trifft voll und ganz zu) beantwortet. In Anlehnung an die beschriebenen Niveaustufen der Kompetenz sollen die Items auf der ersten Niveaustufe (einfaches Niveau) erfassen, ob die Lehrpersonen einen Sachverhalt kennen (z. B. „Ich kenne wichtige fachdidaktische Konzepte.“). Auf der nächsthöheren Niveaustufe zwei (mittleres Niveau) steht die Durchführung oder Anwendung im Fokus der Erfassung (z. B. „Ich bin in der Lage, wichtige Ansätze der Fachdidaktik für die eigene Unterrichtsgestaltung anwendbar zu machen.“). Mithilfe der Items der Niveaustufe drei (schwieriges Niveau) soll erfasst werden, inwieweit die Lehrkräfte angeben „etwas beurteilen zu können“ (z. B. „Ich kann die Qualität fachdidaktischer Konzepte wissenschaftlich begründet beurteilen.“; Itembeispiele aus der Subskala fachdidaktische Konzepte, Hauptskala Unterricht).
3.2 Vorstudie
In der Vorstudie wurden postalisch 1574 Bildungseinrichtungen im Gesundheitswesen befragt und mit einem Rücklauf aus ca. 30 % der Einrichtungen konnte eine Stichprobe von N = 1096 erstellt werden. Erste testtheoretische Überprüfungen belegten eine gute Reliabilität der Hauptskalen von α = 0,88 bis α = 0,96 (vgl. Knigge-Demal et al. 2010) und Möglichkeiten zur Differenzierung von Personen mit unterschiedlichen pädagogischen Qualifikationen. So zeigte sich, dass Personen mit umfangreichen Qualifikationen (Weiterbildung und Studium) höhere Skalenwerte erzielten, als Personen die nur ein Studium oder die nur eine Weiterbildung absolviert hatten.
3.3 Reanalyse und Revision des Instruments
Die Daten der Vorstudie wurden einer Reanalyse unterzogen (vgl. Schürmann und Grebe 2014). Neben der Prüfung zur Erfüllung klassischer Testgütekriterien wurden auch probabilistische Raschmodelle analysiert, um die Hierarchie der Kompetenzstufen prüfen zu können. Dabei wiesen neun Subskalen in dichotomen Raschmodellen (vgl. Rost 2004) Raschhomogenität auf. Die jeweiligen Items zeigten geordnete Itemschwierigkeiten gemäß der intendierten Niveaustufen. Infits und Outfits (mean squared error, MSQ) der Items sollten sich im Range von 0,70 bis 1,30 befinden (vgl. Wright und Linacre 1994; Smith et al. 2008). Die meisten Werte lagen noch darunter im Range 0,20 bis 0,70, was auf ein eher deterministisches Datenmodell schließen lässt. Das bedeutet, dass Teilnehmende überwiegend in ihren Kompetenzeinschätzungen dem Modell folgten und konsistente Angaben zu den Kompetenzausprägungen in einer Subskala machten. Zur Beurteilung der Eignung des Modells zur Messung der betreffenden Konstrukte ist dies aber unkritisch (vgl. Wright und Linacre 1994).
Auf der Grundlage der Reanalysen wurden Veränderungen der Formulierung an Items vorgenommen, die in den probabilistischen Modellen Auffälligkeiten zeigten. So wurden Anpassung bei „vertauschten“ (d. h. nicht den intendierten Niveaustufen folgenden) Itemschwierigkeiten vorgenommen, so dass ein Item entsprechend schwieriger oder etwas leichter formuliert wurde. Es wurde auf eine einheitliche Verwendung eines Verbes für jede Niveaustufe geachtet (kennen, anwenden oder durchführen können, beurteilen), da zuvor in Einzelfällen noch Synonyme verwendet wurden. Diese Veränderungen sollten somit zu höherer Stringenz in der Formulierung pro Niveaustufe beitragen.
3.4 Validierungsstudie
In einer weiteren empirischen Studie wurde aus dem Instrument ein zweisprachiges Tool zum Online-Selfassessment entwickelt (englisch/deutsch). Dazu wurde der Fragebogen PädKomPflege mithilfe des team approach (vgl. Behr et al. 2015) in eine englische Fassung überführt. Bei diesem Vorgehen wird eine partizipative Übersetzung in verschiedenen Schritten in einem Expertenteam (Muttersprachler/bilinguale Experten) vorgenommen. Das Team zur Itemübersetzung setzte sich zusammen aus einer zweisprachigen britischen Lehrkraft für allgemeine Pädagogik, einer zweisprachigen deutschen Pflegelehrkraft, einer zweisprachigen amerikanischer Sprachlehrkraft und dem Autorenteam.
Das Tool zum Online-Selfassessment wurde mithilfe einer Homepage so implementiert, dass Teilnehmende am Ende einen individuellen Kompetenzscore in jeder der fünf Dimensionen, Erläuterungen und Vergleichswerte erhielten.
Im Zeitraum von Juni 2016 bis Dezember 2016 nahmen insgesamt 591 Personen das Assessment in Anspruch. 545 nutzten die deutschsprachige Fassung, 46 die englischsprachige Version. Auch an diesem Datensatz wurde die Raschhomogenität der Subskalen mit Partial Credit Modellen (Masters 1982) geprüft. Für die Analysen wurden im Datensatz der deutschen Version (N = 5453) das 6 stufige Antwortformat auf 4 Stufen reduziert, indem die beiden unteren sowie die beiden mittleren Kategorien zusammengefasst wurden4. Für 17 der 18 Subskalen ließen sich Partial Credit-Modelle anpassen, die darüber hinaus Itemschwierigkeiten gemäß den theoretischen Annahmen aufzeigten. So wiesen Items zur Messung des Kompetenzniveaus eins (kennen) die niedrigste Schwierigkeit auf, Items zur Messung des Kompetenzniveaus zwei (anwenden/durchführen können) mittlere Schwierigkeiten und Items des Kompetenzniveaus drei (beurteilen), die höchsten Schwierigkeiten auf (siehe Abb. 2). Lediglich die Itemschwierigkeiten der Subskala 3 entsprachen nicht dieser Reihenfolge, da das erste Item dieser Subskala eine höhere Schwierigkeit aufweist als die beiden anderen Items. Die Infit Kennwerte (MSQ) der Items lagen zwischen 0,31 und 0,91, wobei 37 der 54 der Items Werte < 0,70 aufwiesen. Die Outfit-Kennwerte [MSQ] lagen zwischen 0,29 und 0,99 und für 36 Items < 0,70. Ebenso wie in der Vorstudie deuten die Fit-Indices somit auf eher deterministische, aber für Messungen dennoch produktiv nutzbare Items hin. Die p-Werte der bedingten Likelihood-Quotienten-Tests nach Anderson mit je zwei randomisierten Subsamples waren für keine der Subskalen auf einem fünfprozentigen Niveau signifikant, die Personenhomogenität der Subskalen ist somit gegeben. Die Berechnungen wurden in R mit dem Package eRm (vgl. Mair et al. 2019) durchgeführt.
Abb. 2
Darstellung der Itemschwierigkeiten aller Subskalen. Loc1 gibt die Itemschwierigkeiten der Items zur Messung des Kompetenzniveaus eins an, Loc2 für die Itemschwierigkeiten des Kompetenzniveaus zwei und Loc3 für die des dritten Niveaus an
×
Auf der Ebene der Hauptskalen wurde die Dimensionalität mithilfe einer Hauptkomponentenanalyse geprüft. Als Kriterium sollte nur eine Komponente mit einem Eigenwert größer eins extrahiert werden. Durch Erfüllung dieses Kriteriums können die Testwerte von Personen auf den Hauptskalen als Ausprägung der jeweiligen Kompetenzdimension interpretiert werden. Für alle Hauptskalen konnte dieses Kriterium erfüllt werden. Es konnten jedoch nicht alle Subskalen einer Dimension auch als Bestandteil der entsprechenden Hauptskala interpretiert werden(s. Tab. 2). Insbesondere die inhaltlich umfassenden Hauptskalen Unterricht und Organisations- und Schulentwicklung mussten hierfür um fünf bzw. zwei Subskalen reduziert werden, die Hauptskala Beurteilung um eine Subskala. Daraus ergibt sich für das Instrument PädKomPflege eine Lang- bzw. Kurzversion des Instrumentes. Die Langversion umfasst alle 54 Items (18 Subskalen), die Kurzversion umfasst 30 Items (10 Subskalen). Beide Versionen unterscheiden sich neben der inhaltlichen Aussagekraft (die Langversion deckt mit den zusätzlichen acht Subskalen einen breiteren Kompetenzbereich ab), in ihrer Dimensionalität. So können für die Subskalen der Kurzfassung direkt alle Werte auf den jeweilen Hauptskalen interpretiert werden. In der Langfassung ist dies (strenggenommen) nur für diese 10 Subskalen der Kurzfassung möglich, die weiteren acht Subskalen müssen separat berechnet und interpretiert werden.
Tab. 2
Darstellung der Ergebnisse zur Prüfung der Raschhomogenität für Haupt- und Subskalen aus der Vorstudie (t1) und der Validierungsstudie (t2)
Hauptskala
Subskala
Rasch t1
Rasch t2
Rasch t2 Hauptskala
Unterricht
1. Pädagogische und lerntheoretische Ansätze
+
+
+
2. Fachdidaktische Konzepte
+
+
–
3. Fachwissenschaftliche Ergebnisse
–
–
–
4. Förderung des selbstbestimmten und kooperativen Lernens und Arbeitens
15. Institutionelle und rechtliche Rahmenbedingungen
–
+
–
16. Kooperationsstrukturen
+
+
–
17. Verfahren und Instrumente der Schul- und Qualitätsentwicklung
+
+
+
18. Schuleigenen Curricula entwickeln
+
+
+
3.4.1 Raschhomogenität der Skalen
Für alle Hauptskalen konnten Partial Credit Modell angepasst werden Die Outfits (MSQ) der Items in den fünf Hauptskalen lagen zwischen 0,55 und 1,30, für sieben der 29 Items lagen sie < 0,70, in keinem Fall < 0,50. Die Infits (MSQ) lagen zwischen 0,53 und 1,2, in vier Fällen < 0,70 und für kein Item < 0,50. Auch die Skalen können als personenhomogen angesehen werden, die bedingten Likelihood-Quotienten-Tests mit je zwei randomisierten Subsamples waren für keine der Subskalen signifikant. Die Items der Hauptskalen können das Spektrum an Kompetenzausprägungen gut erfassen, exemplarisch ist dies in Abb. 3 für die Dimension „Unterricht“ dargestellt.
Abb. 3
exemplarische Person-Items-Map der Hauptskala Unterricht. Dargestellt sind die Itemparameter der Subskalen 1, 4 und 5 sowie die Verteilung der Ausprägung der Personenparameter als Balkendiagramm auf der latenten Kompetenzdimension
×
Vergleicht man die Ergebnisse zur Prüfung der Raschhomogenität aus der Vor- und Validierungsstudie miteinander (s. Tab. 2) wird deutlich, dass durch den Entwicklungsprozess und durch die Veränderungen der Items auf der Grundlage der Vorstudie und deren Reanalyse fast alle Subskalen (17 von 18) Raschhomogenität erzielen. Somit konnte eine entscheidende Verbesserung des Messmodells erreicht werden.
Das Kompetenzmodell des PädKomPflege wird durch die probabilistischen Messmodelle in großen Teilen bestätigt. Diese Analysen können als Nachweis struktureller Validität herangezogen werden (vgl. Schaper 2014).
Weitere Belege für die strukturelle Validität sind beispielsweise die substantiellen Zusammenhänge der Hauptskalen untereinander. In Tab. 3 sind die Korrelationen zwischen den Hauptskalen der Validierungsstudie sowie deren Reliabilitäten (Cronbach’s Alpha) dargestellt. Insgesamt zeigt die Korrelationsmatrix mittlere bis hohe Zusammenhänge (r > 0,42; p < 0,01) zwischen den Hauptskalen des Instruments. Vier der Hauptskalen weisen Cronbach’s Alpha-Werte zwischen 0,91 und 0,95 auf, lediglich die Skala „Lernortkooperation“ erreicht mit 0,75 eine schwächere, aber noch akzeptable interne Konsistenz.
Tab. 3
Interkorrelationen der Hauptskalen aus der Validierungsstudie (t2)
Bezeichnung der Hauptskalen
Unterricht
Beurteilung
Beratung
Lernortkooperation
Organisations- und Schulentwicklung
Bezeichnung der Skalen (Anzahl der Items)
Unterricht (9)
0,913
–
–
–
–
Beurteilung (6)
0,602a
0,940
–
–
–
Beratung (6)
0,566a
0,481a
0,927
–
–
Lernortkooperation (3)
0,553a
0,470a
0,566a
0,748
–
Organisations- und Schulentwicklung (6)
0,593a
0,570a
0,415a
0,490a
0,920
Berechnet wurden Produkt-Moment-Korrelationen
aDie Korrelation ist auf dem 0,01 Niveau signifikant (zweiseitig). In den Diagonalen sind als Reliabilitäten für die Skalen die Cronbach’s Alpha Werte der Validierungsstudie abgebildet
Zusammenfassend wurde durch die vier Phasen der Instrumentenentwicklung ein solides und strukturell validiertes Tool zur Selbsteinschätzung entwickelt, welches vor allem für drei verschiedene (nachfolgend beschriebene) Anwendungszwecke zur Verfügung steht.
4 Praktische Einsatz – bzw. Nutzungsmöglichkeiten
Bisher wurde das Instrument PädKomPflege in den beschriebenen Vor- und Validierungsstudien eingesetzt. Das Instrument steht in den folgenden drei (nicht kommerziellen) Anwendungsfeldern bereit: individuelle Kompetenzdiagnostik, Analyse von Kompetenzentwicklungsverläufen sowie der Nutzung im Rahmen formativer oder summativer Evaluation von beruflichen Bildungsmaßnahmen.
4.1 Individuelle Kompetenzdiagnostik
PädKomPflege gibt in der Umsetzung als Online-Selfassessment Tool den Teilnehmenden eine direkte Rückmeldung der Kompetenzscores bezogen auf die fünf Dimensionen pflegepädagogischer Kompetenz nach Abschluss der Befragung. Ein Vorteil des Instruments ist, dass aufgrund der Raschkonformität Skalensummenwerte als direkte Ausprägungen der subjektiven Kompetenz interpretiert werden können. Dies ist bei Instrumenten, die ausschließlich nach klassischen testtheoretischen Kriterien entwickelt wurden, nicht der Fall. NutzerInnen des PädKomPflege erhalten als Rückmeldung per E‑Mail ein Kompetenzprofil. Dieses umfassen Beschreibungen aller Kompetenzdimensionen und der individuellen Kompetenzscores. Zur Interpretation der eigenen Werte dienen Vergleichswerte in jeder Dimension, die sich aus der Vorstudie generieren (M, SD, Min, Max). Auf Wunsch können auch Vergleichswerte der Validierungsstudie zur Verfügung gestellt werden. Die Anwendung des Instruments kann sowohl von einzelnen Personen durchgeführt werden, als auch von mehreren Personen (Lehrerteams oder Kollegium), um bzw. Aufschluss über Bildungsbedarfe in einer Schule/Bildungseinrichtung zu erzielen. Auf Wunsch können entsprechende Gruppenauswertungen angeboten werden.
4.2 Analyse von Kompetenzentwicklungsverläufen
Die Anwendung von PädKomPflege ist auch über einen längeren Zeitraum möglich, um dadurch Kompetenzentwicklungsverläufe analysieren zu können. Dafür sind längsschnittliche Erhebungen notwendig, die sich über mindestens zwei Erhebungszeitpunkte pro Teilnehmenden erstrecken sollten. Über einen zugewiesen oder individuell zu erstellenden Code können die Zuordnungen von mehreren Erhebungen zu einer Person sichergestellt werden. Neben der grundlegenden Rückmeldung zum Kompetenzprofil bietet dieses Vorgehen den Vorteil, den Teilnehmenden zusätzlich die Veränderungen in den einzelnen Kompetenzdimensionen oder -verläufen aufzuzeigen.
4.3 Formative oder summative Evaluation von beruflichen Bildungsmaßnahmen
Neben der individuellen Kompetenzdiagnostik, kann das Instrument PädKomPflege auch zur Kompetenzbilanzierung von Gruppen eingesetzt werden. Dies kann im Rahmen der Evaluation von pflegepädagogischen Berufsbildungsmaßnahmen geschehen. Die gruppenbezogenen Auswertungen können dabei zum einen im Rahmen summativer Evaluationen als Ergebnisnachweise zur Überprüfung der Zielerreichung der jeweiligen Maßnahme eingesetzt werden.
Formative Evaluationen können in Bildungsmaßnahmen prozessbegleitend angewendet werden, indem sie beispielsweise in Form von Mehrfachmessungen oder Zwischenevaluationen die Erfassung des Lernzuwachses unterstützen und diese durch mehrere Anwendungen des Instruments sichtbar machen.
5 Diskussion und Limitation des Instrumentariums
Das Instrument PädKomPflege ist als Selbsteinschätzungsverfahren für Lehrkräfte in der Gesundheits- und Pflege(aus)bildung gut geeignet, um individuelle Ausprägungen in wesentlichen pädagogischen Kompetenzbereichen erfassen zu können. Durch die Analysen zur Raschhomogenität der Sub- und Hauptskalen in zwei Studien konnten neben der reliablen Erfassung auch entsprechende Validitätsnachweise (z. B. Eindimensionalität der Hauptskalen, strukturelle Validität) erbracht werden. Raschhomogene Skalen besitzen den Vorteil, dass Eigenschaften von Personen (hier Kompetenzen) und Eigenschaften der Items (Schwierigkeit bzw. Grad der Zustimmung) unabhängig voneinander geschätzt werden können (vgl. Rost 2004). Aus der Beantwortung eines Items oder der Lösung einer Aufgabe kann somit direkt auf die Ausprägung auf einer latenten Fähigkeitsdimension geschlossen werden (Rauch und Hartig 2012). Über mehrere Items einer Skala können diese Werte zum Beispiel durch Summenbildung zu einem Fähigkeitsparameter addiert werden und als Ausprägung auf einer latenten Dimension (hier Kompetenz) interpretiert werden (vgl. Walter und Rost 2011).
Die Analysen zur Dimensionalität der Hauptskalen zeigte jedoch, dass zwei Hauptskalen (Unterricht sowie Organisations- und Schulentwicklung) nicht eindimensional waren. Dies ist sicherlich auf die inhaltliche Bandbreite dieser Kompetenzdimensionen zurückzuführen und wirft die Frage auf, ob diese Dimensionen zukünftig in weitere Kompetenzfacetten aufgeteilt werden müssen. In der Folge daraus ist der Einsatz des Instruments zurzeit in einer Kurzversion mit 10 Subskalen und in der Langversion mit 18 Subskalen möglich. Die Entscheidung dafür ist, neben der gewünschten Testgüte, vornehmlich abhängig von der gewünschten Testwertinterpretation. So kann in der Kurzversion ein direkter Rückschluss auf die Ausprägungen in den Kompetenzdimensionen gezogen werden, indem die Item-Testwerte jeder Hauptskala als Skalensummen berechnet und interpretiert werden. In der Langversion ist dies für die 10 Subskalen ebenfalls möglich. Jedoch können darüber hinaus noch Interpretationen zum Kompetenzniveau von Personen zu den jeweiligen Subskalen in beiden Versionen getroffen werden.
Im Rahmen des Selbsteinschätzungsverfahren muss jedoch auch die zugrunde gelegte Kompetenzniveaustufung kritisch betrachtet werden. In fast allen Subskalen konnte durch die Raschanalysen die Hierarchie der Itemschwierigkeiten nachgewiesen werden und damit dem taxonomischen Grundgedanken entsprochen werden. Die nicht homogene Subskala weist jedoch die Besonderheit auf, dass Items der ersten Niveaustufe schwieriger waren als die weiteren Items (ihnen somit weniger häufig zugestimmt wurde). Inhaltlich handelt es sich um den Bereich „wissenschaftliche Erkenntnisse“. In beiden Studien beurteilten die Lehrkräfte in dieser Subskala ihre Kompetenzen nicht in der vom Modell postulierten Stufung. So wurde tendenziell eher den Aussagen zugestimmt, die sich auf das Anwenden oder Durchführen beziehen, als den Aussagen, die sich auf das Kennen der entsprechenden (notwendigen) Grundlagen beziehen. Dies könnte entweder auf ein fehlendes Grundwissen, oder aber das Vorhandensein von stark implizit ausgeprägtem Wissen zu den Themenbereichen hinweisen, und nicht unbedingt mit den Messeigenschaften des Instruments oder einzelner Items zusammenhängen. Aufschluss darüber werden die Prüfungen der Skalen anhand der englischsprachigen Version und weitere Validierungsstudien liefern. Der weitere Einsatz dieser Subskala wird daher noch geprüft.
Neben den vielfältigen Einsatzmöglichkeiten unterliegt das Assessmentinstrument PädKomPflege auch einigen Einschränkungen, die durch die Selbstbeurteilung hervorgerufen werden. Das Instrument dient der Selbsteinschätzung und ist dadurch pragmatisch und effizient einsetzbar. Durch Selbsteinschätzungen können sich jedoch auch Verzerrungseffekte ergeben, die bei der Interpretation der Ergebnisse zu berücksichtigen sind. Gängige Verzerrungsarten sind u. a. Fehler, die in der Selbstbeurteilung auftreten. Denn Einschätzungen sind keine objektiven Messungen der Kompetenz, sondern sie geben subjektive Abbilder durch die individuellen Überzeugungen wieder. Aspekte wie das eigene Selbstbild oder der Selbstwert führen zu interindividuell unterschiedlicher Beurteilung eigener Leistungen (vgl. Ehrlinger 2008). Im Sinne der sozialen Erwünschtheit könnte überdies vermutet werden, dass Personen, die in dem Beruf tätig sind, geneigt sind, ihre Kompetenz als hoch einzuschätzen. Weiterhin treten Verzerrungen durch subjektive Vergleichsprozesse auf (vgl. Viswanathan 2005), und es bleibt unklar, welche Vergleichsnorm Individuen zur Einschätzung der eigenen Fähigkeiten heranziehen. Hierzu werden zurzeit weitere Validierungsstudien mit dem Instrument durchgeführt.
Unsere bisherigen Analysen haben jedoch keine Hinweise ergeben, dass Verzerrungseffekte in der oben beschrieben Weise einen bedeutenden Einfluss haben. Analysen zum „Differential Item Functioning“ hinsichtlich verschiedener deskriptiver Merkmale (z. B. Alter, Geschlecht, Berufserfahrung, Position) zeigte diesbezüglich keine besonderen Auffälligkeiten.
Durch die modellgeleitete Entwicklung sind in Bezug auf die inhaltliche Validierung des Instruments wichtige Schritte unternommen worden. Im Rahmen der Weiterentwicklung des Instruments werden weitere Validierungsschritte durchgeführt und es erfolgen Untersuchungen zur konvergenten und diskriminanten Validität mit relevanten Konstrukten.
Open Access Dieser Artikel wird unter der Creative Commons Namensnennung 4.0 International Lizenz veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Artikel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
Grundlegende Itemkonstruktionen erfolgten in dem Projekt Qualifizierungsinitiative für beruflich qualifizierte Lehrerinnen und Lehrer in Pflege- und Gesundheitsberufen (vgl. Knigge-Demal und Schürmann 2008; Knigge-Demal et al. 2010).
Durch das Vorliegen einzelner fehlender Werte (beurteilt als missing at random) oder vorzeitigen Testabbruch (dropout) lagen die Stichprobengrößen zur Analyse der verschieden (Sub‑)Skalen zwischen N = 501 und N = 431.
