Grundlagenbeitrag: Quantitative Testverfahren

Personenmerkmale können dahingehend unterschieden werden, ob es sich bei ihnen um ein Leistungsmerkmal, also eine Fähigkeit, handelt oder nicht. Fähigkeiten können dabei verstanden werden als die sowohl kognitiven als auch motivationalen Voraussetzungen, die eine Person mitbringt, um in einem bestimmten Bereich Probleme lösen zu können (Weinert 2001). Für die Messung von Leistungsmerkmalen ergeben sich daraus u. a. zwei Konsequenzen. Erstens sind Leistungsmerkmale bereichsspezifisch. Expert:innen haben ihre Expertise in bestimmten Bereichen. Ein guter Schachspieler ist nicht automatisch gut in Monopoly, auch wenn es sich in beiden Fällen um Brettspiele handelt. Für die Messung von Leistungsmerkmalen bedeutet dies, dass die eingesetzten Messverfahren den betreffenden Bereich abdecken müssen und dieser dafür vorab genau definiert sein muss. Das mag trivial klingen, ist es aber meist nicht. Es erfordert eine systematische Analyse der Inhalte, die den Bereich definieren (z. B. Klauer 1987) sowie der Definition, auf welchem Niveau diese Inhalte verarbeitet bzw. die Leistungen gezeigt werden sollen (z. B. Anderson und Krathwohl 2001). So ist es bspw. eine andere (kognitive) Leistung, die Antwort auf eine Testfrage aus vier möglichen Antworten herauszusuchen und sie sozusagen „wiederzuerkennen“ als eine Antwort vollkommen frei selbst zu formulieren.

Zweitens sind Leistungsmerkmale nur Voraussetzungen. Das bedeutet, dass Personen nicht immer alle Probleme lösen, für deren Lösung sie die Voraussetzungen mitbringen. Manchmal realisieren sie in einer Situation gar nicht, dass sie über die Mittel zur Lösung des Problems verfügen, manchmal ist ihnen der Aufwand im Vergleich zum Nutzen zu hoch. Für die Messung von Leistungsmerkmalen bedeutet dies, dass die Messverfahren das entsprechende Leistungsmerkmal zunächst einmal aktivieren müssen, bspw. indem möglichst genau angegeben wird, welche Leistung bei der Bearbeitung der Items erwartet wird. Zum anderen muss bei der Durchführung des Messverfahrens gewährleistet sein, dass Personen bei der Bearbeitung der Items auch gewillt sind, Leistung zu zeigen. Das ist gerade bei der Evaluation von Maßnahmen der Wissenschaftskommunikation nicht immer einfach. Die Teilnahme an solchen Maßnahmen erfolgt freiwillig und meist in der Freizeit, sodass auch die Teilnahme an einer Leistungsmessung freiwillig ist, für die Freizeit investiert werden muss. Darüber hinaus ist die Messung von Leistungsmerkmalen für Personen immer mit dem Risiko verbunden, eine geringe Leistung attestiert zu bekommen. Personen, die befürchten, geringe Leistungen zu zeigen, könnten in solchen Fällen zum self-handicapping (vgl. Schwinger und Stiensmeier-Pelster 2012) tendieren. Sie strengen sich nicht an und können dann eine geringe Leistung auf mangelnde Anstrengung zurückführen, ohne an der eigenen Fähigkeit zweifeln zu müssen. Für die Messung von Leistungsmerkmalen bedeutet dies, dass sie mit möglichst wenig zeitlichem oder sonstigen Aufwand verbunden sein und möglichst keine evaluative Funktion für die Personen haben sollte. Dafür sollte die Leistungsmessung vollständig anonymisiert durchgeführt werden, und es sollte keine Leistungsrückmeldung erfolgen.

Die meisten Leistungsmerkmale verändern sich über die Zeit hinweg, unterscheiden sich aber hinsichtlich der Dauer, die es benötigt, bis sie sich messbar verändert haben. So ist die Intelligenz einer Person bspw. ein vergleichsweise stabiles Personenmerkmal. Sicherlich entwickelt sich die Intelligenz über die Lebensspanne hinweg, messbare intraindividuelle Unterschiede im Abstand von wenigen Tagen, Wochen oder Monaten sind ab einem gewissen Lebensalter jedoch nicht mehr zu erwarten. Anders verhält es sich bspw. mit Wissensständen. Allein die Partizipation an einem Citizen-Science-Projekt kann innerhalb weniger Stunden zu einer messbaren Veränderung von Wissen im entsprechenden Bereich führen.

Im Rahmen der Evaluation von Wissenschaftskommunikation sind veränderbare Leistungsmerkmale selbstredend die interessanteren. Wenn ein Ziel von Wissenschaftskommunikation der Aufbau von Wissenschaftsverständnis ist, dann ergibt dieses Ziel nur unter der Voraussetzung Sinn, dass das Wissenschaftsverständnis innerhalb der Zeitspanne, die die Maßnahme andauert, veränderbar ist. Stabile Personenmerkmale können jedoch im Rahmen einer Evaluation durchaus auch interessant sein, bspw. um Randbedingungen zu erfassen, die gegeben sein müssen, damit eine Maßnahme der Wissenschaftskommunikation das Wissenschaftsverständnis beeinflussen kann.

Die Stabilität eines Personenmerkmals ist jedoch nicht nur inhaltlich relevant, sondern hat auch bestimmte methodische Konsequenzen. So ist der Zeitpunkt, zu dem ein Personenmerkmal erfasst wird, bei veränderbaren Merkmalen natürlich relevant, während stabile Merkmale nahezu jederzeit gemessen werden können. Abgesehen vom Zeitpunkt ist auch die Häufigkeit der Messungen zwischen stabilen und veränderbaren Personenmerkmalen unterschiedlich. Kommt man bei stabilen Merkmalen mit einer Messung aus, lässt sich die (oftmals gewünschte) Veränderung eines Personenmerkmals nur durch wiederholte Messung, bspw. in einem Prä-Post-Testdesign, bei dem das interessierende Merkmal vor und nach einer Maßnahme erfasst wird, messen. Dies mag trivial klingen, wird bei der Evaluation von Wissenschaftskommunikation jedoch erstaunlicherweise häufig versäumt (z. B. Masters et al. 2016).

Als letzte Eigenschaft zur Kategorisierung von Personenmerkmalen gehen wir auf die Beobachtbarkeit eines Merkmals ein. Personenmerkmale können direkt beobachtbar sein oder nicht. Im ersten Fall spricht man von einem manifesten, im letzten von einem latenten Merkmal. Merkmale wie das Alter oder das Monatsgehalt sind direkt beobachtbar und damit manifest. Sie lassen sich (zumindest theoretisch) mit einem Blick auf den Personalausweis oder auf einen Kontoauszug in ihrer Ausprägung messen. Andere Merkmale wie das Wissen über ein Thema lassen sich nicht direkt beobachten und sind damit latent. Wie viel eine Person über ein Thema weiß, kann man ihr nicht direkt ansehen. Da es sich bei Messverfahren jedoch um empirische, sprich auf Wahrnehmung basierende Verfahren handelt, ist die Messung nicht direkt beobachtbarer Merkmale natürlich eine Herausforderung. Um dieser zu begegnen, bedienen sich Messverfahren einer Hilfskonstruktion. Sie definieren ein Verhalten, das zwei Eigenschaften hat. Zum einen muss das definierte Verhalten direkt beobachtbar sein. Zum anderen muss es vom eigentlich zu messenden latenten Personenmerkmal maßgeblich beeinflusst werden.

Leistungsmerkmale sind latente Personenmerkmale. Ihre Ausprägung wird mithilfe von Tests erfasst, bei denen Personen sich im Rahmen von Testitems verhalten müssen. Dieses Verhalten wird beobachtet und in Abhängigkeit der Ausprägung des beobachteten Verhaltens erhält die Person eine Zahl auf der Testskala. Damit das alles funktioniert, müssen einige Kriterien erfüllt sein, die gewährleisten sollen, dass das beobachtete Verhalten und seine Übersetzung in eine Zahl möglichst ausschließlich von dem interessierenden latenten Leistungsmerkmal bestimmt sind. Nur in diesem Fall kann von einer hinreichenden Testgüte ausgegangen werden. Die entsprechenden Kriterien werden daher auch Testgütekriterien genannt.

Unsystematische Einflüsse sind Gegenstand der sogenannten „Klassischen Testtheorie“ (Gulliksen 1950; siehe auch Döring und Bortz 2016) und das Gütekriterium, das sich mit dem Schutz vor solchen unsystematischen Einflüssen beschäftigt, wird Reliabilität ( = Zuverlässigkeit oder Fehlerfreiheit) genannt. Die klassische Testtheorie beschäftigt sich mit ungewollten Einflüssen auf das beobachtete Verhalten oder seiner Übersetzung in eine Zahl, die zufällig (und damit unsystematisch) in zweierlei Hinsicht sind. Erstens ist das Ausmaß des Einflusses rein zufällig. Zweitens ist es völlig zufällig, ob durch den jeweiligen Einfluss das Ausmaß des latenten Leistungsmerkmals über- oder unterschätzt wird. Ein Beispiel für solche zufälligen Einflüsse wäre das Ankreuzen der richtigen Antwort in einem Wissenstest, obwohl das entsprechende Wissen gar nicht verfügbar ist, wenn einer Person also durch bloßes Raten ein „Glückstreffer“ gelingt. Die Summe aller zufälligen Einflüsse wird in der klassischen Testtheorie unter dem Begriff des (Mess-)Fehlers zusammengefasst, weshalb sie auch als Messfehlertheorie bekannt ist. Grundlage dieser Theorie ist die Annahme, dass der Messwert, also die Zahl, durch die das Ausmaß des latenten Personenmerkmals ausgedrückt werden soll, sich zusammensetzt aus dem „wahren“ Wert und dem Messfehler. Der wahre Wert ist dabei die Zahl, die zustande käme, wenn es keinerlei zufällige Einflüsse gäbe. Der Messfehler ist der (positive oder negative) Betrag, der auf die Summe aller (unbekannten) zufälligen Einflüsse zurückzuführen ist. Die Frage der Reliabilität ist nun, wie hoch der Anteil des wahren Werts sowie der des Messfehlers am Messwert ist. Ist der Anteil des wahren Werts sehr hoch und damit der Anteil des Messfehlers sehr niedrig, ist der Messwert sehr reliabel und zuverlässig.

Sowohl für die Gewährleistung als auch für die Überprüfung der Reliabilität eines Tests ist die Wiederholung von Messungen notwendig. Das ist der Grund, wieso Tests nicht aus einem, sondern aus mehreren Items bestehen. Jedes Item stellt dabei eine Messung dar. Unter der Voraussetzung, dass das Verhalten, das bei der Bearbeitung aller Items eines Tests beobachtet wird, von demselben latenten Personenmerkmal beeinflusst wird, wird durch die Bearbeitung mehrerer Items die Messung des latenten Personenmerkmals mehrfach wiederholt. Werden diese wiederholten Messungen dann zusammengefasst, indem man bspw. die Punkte, die bei den Items jeweils erreicht wurden, aufsummiert, resultiert ein reliables Testergebnis. Der Grundgedanke hierbei ist der folgende: Der Messwert eines jeden Items setzt sich zusammen aus „wahrem“ Wert und Messfehler. Die wahren Werte weisen alle mehr oder weniger ausgeprägte, aber immer positive Beträge auf. Die Messfehler haben dagegen jeweils zufälligerweise einen mehr oder weniger ausgeprägten positiven oder negativen Betrag. Summiert man die Messwerte der Items, summiert man sowohl die wahren Werte als auch die Messfehler. Da alle wahren Werte positiv sind, ist auch ihre Summe positiv. Da im Gegensatz dazu die Messfehler sowohl positive als auch negative Beträge aufweisen, strebt ihre Summe gegen Null. Die Summe der Messwerte, also das Testergebnis, ist dadurch maßgeblich von der Summe der wahren Werte bestimmt, während die Summe der Messfehler einen gegen Null strebenden Anteil daran hat. Aus dieser Überlegung heraus folgt, dass ein Test umso reliabler ist, aus je mehr Items er besteht, deren Bearbeitung von demselben latenten Personenmerkmal maßgeblich beeinflusst wird. Durch die Wiederholung der Messung und dem Zusammenfassen der Messergebnisse wird die Reliabilität des Testergebnisses gewährleistet.

So zumindest die (klassische Test-)Theorie. Ob ein Testergebnis aber nicht nur theoretisch, sondern auch tatsächlich reliabel ist, lässt sich ebenfalls durch Wiederholung überprüfen. Dabei werden verschiedene Arten der Wiederholung unterschieden (Döring und Bortz 2016), bspw. in Abhängigkeit von der Stabilität des zu messenden Leistungsmerkmals. Handelt es sich um ein stabiles Leistungsmerkmal, lässt sich die Reliabilität eines Tests als Test-Retest-Reliabilität bestimmen. Der Gedanke dabei ist, dass man dieselben Personen denselben Test nicht nur einmal, sondern mit einem gewissen zeitlichen Abstand mindestens zweimal bearbeiten lässt. Ist das latente Personenmerkmal stabil, sollten diejenigen, die beim ersten Bearbeiten ein gutes Testergebnis erzielt haben, beim zweiten Bearbeiten ebenfalls ein gutes Testergebnis erreichen. Ist ein Test reliabel und ist das getestete Personenmerkmal stabil, dann stehen die Testergebnisse bei einer wiederholten Testung in einem systematischen Zusammenhang. Ein solcher systematischer Zusammenhang lässt sich als Korrelation berechnen. Ein Korrelationskoeffizient mit einem hohen positiven Betrag (r > 0,8) drückt dann eine hohe Test-Retest-Reliabilität aus.

Ist eine wiederholte Testdurchführung nicht sinnvoll, bspw. weil das zu erfassende Personenmerkmal veränderbar ist, besteht für die Überprüfung der Reliabilität die Möglichkeit, die Wiederholung nicht auf der Ebene des gesamten Tests bzw. der Testskala anzusiedeln, sondern auf der Ebene der einzelnen Items eines Tests, welche die Skala letztlich bilden. Der Gedanke ist, dass eine Person, die ein Testitem gut oder korrekt bearbeitet hat, mit hoher Wahrscheinlichkeit auch die weiteren Testitems gut oder korrekt bearbeiten wird. Ist ein Test reliabel, dann stehen die Messergebnisse der einzelnen Testitems in einem systematischen Zusammenhang. Die Testitems bilden in diesem Fall eine intern konsistente Testskala. Das Ausmaß dieser internen Konsistenz gilt als Schätzer der Reliabilität eines Tests und lässt sich über Koeffizienten wie bspw. Cronbachs Alpha (Cronbach 1951) ausdrücken. Auch hier gilt, dass ein hoher positiver Betrag (Cronbachs Alpha > 0,8) eine hohe interne Konsistenz und damit eine hohe Testreliabilität ausdrückt.

Findet man starke, systematische Zusammenhänge zwischen den Messwerten der Items einer Testskala oder zwischen den Ergebnissen eines wiederholt durchgeführten Tests, dann ist das ein Indikator für die hohe Reliabilität des Tests. Sind diese Zusammenhänge dagegen niedrig ausgeprägt, kann eine geringe Reliabilität die Ursache sein, muss aber nicht. Es kann auch sein, dass der Test für die untersuchten Personen viel zu leicht oder viel zu schwierig ist. In dem Fall fallen die berechneten Koeffizienten niedrig aus und unterschätzen die Reliabilität des Tests. Will man bspw. evaluieren, ob eine Maßnahme der Wissenschaftskommunikation zu einem umfangreicheren Wissen führt, ist man gut beraten, bei den betreffenden Personen das Wissen sowohl vor als auch nach der Maßnahme zu testen. Wenn die Personen jedoch mit wenig Vorwissen in die Maßnahme starten, können sie beim Vorwissenstest bei den meisten Items wahrscheinlich nur raten. Dieses Raten führt zu unsystematischen, zufälligen Antworten. Die Messergebnisse der einzelnen Testitems werden stark vom Zufall geprägt sein und die interne Konsistenz der Testskala entsprechend niedrig ausfallen. Das muss jedoch nicht bedeuten, dass die Skala bzw. der Test an sich wenig reliabel ist. Es ist sehr gut möglich, dass derselbe Wissenstest, nach der Maßnahme der Wissenschaftskommunikation eingesetzt, zu intern konsistenten Ergebnissen führt, da die Personen jetzt über ein mehr oder weniger ausgeprägtes Wissen verfügen und entsprechend bei mehr oder weniger vielen Items die korrekte Antwort kennen (und nicht raten). In dem Fall ist die Schwierigkeit des Tests für die Gruppe der untersuchten Personen angemessen, und die berechneten Koeffizienten sind gute Schätzer der Reliabilität.

Während sich die klassische Testtheorie maßgeblich mit der Frage des Messfehlers beschäftigt, ist das Zusammenspiel von Ausprägung eines latenten Personenmerkmals und Itemschwierigkeit zentraler Gegenstand einer anderen Testtheorie, der sogenannten Item-Response-Theory (kurz IRT; z. B. van der Linden 2016). Die IRT beschäftigt sich maßgeblich mit der gleichzeitigen Schätzung sogenannter Personenparameter ( = Ausprägung des latenten Personenmerkmals) und sogenannter Itemparameter ( = Schwierigkeit eines Items). Tests, die gemäß der IRT konstruiert wurden, erlauben die Schätzung des Personenmerkmals unabhängig von der Itemschwierigkeit sowie die Schätzung der Itemschwierigkeit unabhängig von der Ausprägung des latenten Personenmerkmals bei den getesteten Personen. Dies hat natürlich Vorteile für Testsituationen wie im oben beschrieben Fall der Testung von Vorwissen. Die IRT wird aber auch herangezogen, wenn bspw. ein Test mehr Items enthält als eine Person zu einem Zeitpunkt bearbeiten könnte. IRT-skalierte Tests erlauben es in diesem Fall, Personen nur eine Auswahl der Testitems bearbeiten zu lassen und trotzdem zu vergleichbaren Messungen des latenten Personenmerkmals zwischen verschiedenen Personen zu kommen. Die IRT kommt zudem zum Einsatz, wenn adaptive Tests konstruiert werden sollen, bei denen Personen nur eine Itemauswahl präsentiert bekommen, die individuell an die jeweilige Ausprägung ihres Personenmerkmals angepasst wird. Auch dann kommen solche Tests zu vergleichbaren Ergebnissen zwischen Personen, obwohl die Personen unterschiedliche Items bearbeitet haben. Derartige Möglichkeiten bieten Tests, die auf Basis der klassischen Testtheorie konstruiert wurden, nicht.

Im Rahmen der IRT werden Personen- und Itemparameter auf derselben Skala abgetragen. Dadurch können Personen- und Itemparameter direkt miteinander verglichen werden, was eine kriteriumsorientierte (inhaltliche) Interpretation der Testergebnisse ermöglicht (Embretson und Reise 2000). Anstatt das Testergebnis ausschließlich in Form einer Zahl zu erhalten, können so Wertebereiche auf der Testskala definiert werden. Und diese Bereiche können inhaltlich durch die (Teil-)Leistungen beschrieben werden, die eine Person (mindestens) zeigen kann, wenn sie Items aus diesem Wertebereich mit hinreichender Wahrscheinlichkeit erfolgreich bearbeiten kann. Dadurch wird das Testergebnis inhaltlich interpretierbar. Bekannt geworden sind solche IRT-basierten Interpretationen bspw. im Kontext der Schulleistungsvergleichsstudien wie PISA, in denen Testergebnisse in Form von Kompetenzniveaus rückgemeldet werden. Diese stellen eine qualitative, kriteriumsorientierte Beschreibung der Anforderungen dar, die Personen mit entsprechend ausgeprägten Kompetenzen bewältigen können (Hartig 2007; Reiss et al. 2016).

Die Entwicklung geeigneter Testverfahren und die Auswertung der durch sie gewonnenen Daten auf Basis von IRT-Modellen stellt mitunter höhere Anforderungen an die methodische Expertise von Wissenschaftler:innen und ist insgesamt auch mit einem höheren Aufwand verbunden als dies bei der klassischen Testtheorie der Fall ist. Es stehen inzwischen jedoch zahlreiche anwender:innenfreundliche Softwarepakete zur Verfügung, die einen breiten Einsatz von IRT-Modellen ermöglichen (Kelava und Moosbrugger 2020). Eine maßgebliche Einschränkung für den Einsatz von IRT-Modellen gegenüber der klassischen Testtheorie stellen allerdings die recht hohen Anforderungen an die benötigten Personenstichproben dar, die mit zunehmender Komplexität der Modelle steigen (de Ayala 2009).

Bislang haben wir uns mit unsystematischen Einflüssen auf das in einem Test gezeigte Verhalten und seiner Übersetzung in eine Zahl beschäftigt. In den folgenden zwei Unterkapiteln widmen wir uns systematischen Einflüssen, die aber gleichermaßen ungewollt das Verhalten beeinflussen. Diese Einflüsse können ihren Ursprung entweder innerhalb der testenden Person oder innerhalb der getesteten Person haben.

Wenden wir uns zunächst dem ersten Fall zu. Der Schutz vor ungewollten, systematischen Einflüssen, die von der testenden Person ausgehen, betrifft das Gütekriterium der Objektivität. Die Objektivität eines Tests ist dann gefährdet, wenn die testdurchführende Person Einfluss auf das Verhalten der getesteten Person oder auf dessen Bewertung nimmt. Dies muss gar nicht absichtlich geschehen. Häufige Ursache für unzureichender Testobjektivität sind mangelhafte Anweisungen für die Testdurchführung. Wenn bspw. keine Angabe dazu besteht, wie lange Personen Zeit haben, einen Test zu bearbeiten, müssen Testdurchführende selbst einschätzen, wann die Testbearbeitung beendet werden soll, was zu ungewollten Unterschieden in der Testdurchführung führt. Eine andere übliche Quelle für mangelnde Objektivität sind unzureichende Bewertungsschlüssel im Falle von Testitems mit einem offenen Antwortformat. Wenn bspw. ein Frageitem durch einen selbstständig zu formulierenden Text beantwortet werden soll, muss im Nachhinein der Antworttext in Bezug auf die darin ausgedrückte Leistung interpretiert werden. Wenn für diese Interpretation keine sehr klaren Regeln und Kriterien vorab definiert wurden, wird derselbe Antworttext bei verschiedenen Interpretierenden zu unterschiedlichen Leistungseinschätzungen, sprich Messergebnissen führen. Vor diesem Hintergrund sind Items mit einem geschlossenen Antwortformat, also Items, die durch das Ankreuzen einer Option oder das Ausfüllen durch genau ein Wort oder genau eine Zahl zu beantworten sind, natürlich zu bevorzugen, da bei ihnen kein Interpretationsspielraum und damit ein Höchstmaß an Objektivität gegeben ist.

Um eine hinreichende Objektivität zu gewährleisten, haben gute Testverfahren entsprechende Testmanuale, in denen sehr genau beschrieben ist, 1) wie ein Test durchzuführen ist, 2) wie das beobachtete Verhalten auszuwerten ist (also welchem Verhalten welche Zahl zuzuordnen ist) und 3) wie genau das resultierende Testergebnis zu interpretieren ist (bspw. ob ein Testergebnis ein eher durchschnittliches oder ein über- oder unterdurchschnittliches Ergebnis darstellt). Der Sinn dieser Manuale ist, den Interpretationsspielraum der Testdurchführenden, häufig Rater (engl. to rate = bewerten, beurteilen) genannt, in allen Phasen der Testdurchführung, -auswertung und -interpretation möglichst eng zu gestalten. Ob dies hinreichend gelungen ist, kann dadurch überprüft werden, dass nicht nur ein Rater einen Test bei derselben Gruppe von Personen durchführt, sondern mindestens zwei. Das Prinzip ist dasselbe wie im Falle der Überprüfung der Reliabilität. Wieder wird die Messung wiederholt, nur dieses Mal nicht zu mehreren Testzeitpunkten oder durch mehrere Items, sondern durch mehrere Rater. Und wie bei der Reliabilität wird auch zur Überprüfung der Objektivität die Stärke eines Zusammenhangs geprüft. Ist ein Testverfahren objektiv, sollten Personen, die von einem:r Rater:in eine hohe Leistung attestiert bekommen, auch von einem:r anderen Rater:in eine hohe Leistung zugesprochen bekommen. Auch ein solcher systematischer Zusammenhang zwischen den Ergebnissen zweier oder mehrerer Rater:innen lässt sich als Korrelation berechnen, die ein sogenanntes Interrater-Agreement ausdrückt. Ist das Interrater-Agreement hoch, ist das Kriterium der Objektivität mit hoher Wahrscheinlichkeit erfüllt. In Abhängigkeit vom Skalenniveau der Testdaten stehen zur Berechnung des Interrater-Agreements verschiedene Koeffizienten zur Verfügung. Der wohl bekannteste, aber auch recht strenge Koeffizient ist Cohens Kappa. Bei Werten von Cohens Kappa > 0,8 geht man von einem hohen Interrater-Agreement und damit von einer hinreichenden Objektivität aus.

Mit der Validität ist ein Testgütekriterium angesprochen, bei dem systematische und ungewollte Einflüsse ihren Ursprung innerhalb der getesteten Person haben. Solche Einflüsse kommen von Personenmerkmalen, die ein anderes Merkmal als das eigentlich interessierende latente Personenmerkmal sind. Wenn bspw. ein Wissenstest nach einer Wissenschaftskommunikationsmaßnahme eingesetzt wird, dessen Items lange Sätze mit komplexer Satzstruktur und eine Fülle an Fremdwörtern beinhalten, dann besteht die Gefahr, dass mit diesem Test weniger das Verständnis des kommunizierten Wissens als vielmehr Lese- und Sprachfähigkeiten gemessen werden. Ein weiteres, leider häufig vorkommendes Beispiel, wurde oben bereits beschrieben. Es betrifft den Einsatz von Befragungen mit Rating-Skalen zur Erfassung von Wissen oder Verständnis (z. B. Land-Zandstra et al. 2016). Auch hier muss man sich im Klaren sein, dass nicht das Wissen oder das Verständnis selbst damit erfasst werden, sondern die selbsteingeschätzte Bewertung derselben. Diese Bewertung kann in hohem Maße beeinflusst sein durch das entsprechende Wissen oder Verständnis. Sie kann aber auch stark von der Fähigkeit, sich selbst einzuschätzen oder dem Drang, sozial erwünscht zu antworten, abhängen.

Sowohl für die Gewährleistung der Validität bei der Konstruktion oder der Auswahl von Tests, als auch für die Überprüfung ihrer Validität ist ein fundiertes theoretisches Wissen über das zu messende latente Personenmerkmal unabdingbar. Nur wenn das Personenmerkmal genau theoretisch beschrieben und definiert ist, kann die Validität eines Tests eingeschätzt werden. Dies erfordert entsprechende, meist psychologische oder fachdidaktische Expertise in dem Bereich, dem das latente Personenmerkmal zuzuordnen ist. Sollte man selbst eher Lai:in in diesem Gebiet sein, ist man gut beraten, eine:n entsprechende:n Expert:in um Hilfe zu bitten und sich nicht auf das eigene womöglich lai:innenhafte Alltagsverständnis zu verlassen.

Um zu überprüfen, ob ein eingesetzter Test zu validen Ergebnissen führt, prüft man, wie bereits bei der Reliabilität und der Objektivität, in der Regel Zusammenhänge; dieses Mal jedoch nicht zwischen Messzeitpunkten, Items oder Ratern, sondern zwischen verschiedenen Personenmerkmalen (Cronbach und Meehl 1955). Auch dafür sind fundierte Kenntnisse des aktuellen Forschungsstandes in Bezug auf das interessierende latente Personenmerkmal notwendig. Auf deren Basis wird entschieden, mit welchen Personenmerkmalen das zu testende latente Personenmerkmal in einem engen Zusammenhang steht („konvergente Validität“) und mit welchen Personenmerkmalen kein Zusammenhang besteht („diskriminante Validität“). Diese auf der theoretischen Ebene postulierten (Nicht-)Zusammenhänge werden dann mithilfe des zu validierenden Tests empirisch überprüft. Entsprechen die empirisch ermittelten Korrelationen den theoretischen, auf dem aktuellen Stand der Forschung abgeleiteten Zusammenhängen, sprechen diese Zusammenhänge für die Validität des Tests. Dabei gelten Korrelationen von r > 0,6 im Falle konvergenter Zusammenhänge als hoher Validitätskoeffizient (Weise 1975), im Falle diskriminanter Zusammenhänge sollte r sich nicht bedeutsam von Null unterscheiden.