Auswirkungen der Administration von Kompetenztests im Rahmen einer Panelerhebung für Erwachsene

Kompetenztests werden üblicherweise einmalig im Rahmen von Klassenraumbefragungen bei Schülern durchgeführt. In der Erwachsenenbefragung des Nationalen Bildungspanels (NEPS) hingegen wurden Kompetenztests im Rahmen einer jährlich wiederholten, persönlichen Befragung einer großen Stichprobe der Erwachsenenbevölkerung eingesetzt. Die Erhebung von Kompetenzen in einem solchen Kontext kann sich insofern als problematisch erweisen, als negative Auswirkungen der Testdurchführung auf Nonresponse und Panelmortalität zu befürchten sind.

Um zu überprüfen ob derartige Probleme tatsächlich auftreten, wurde im Rahmen der dritten Welle der Erwachsenenbefragung des NEPS ein experimentelles Split-Half Design implementiert. Im Rahmen dieses Experiments wurden der Hälfte der Befragten zwei 30-minütige Kompetenztests (jeweils in den Domänen Lesen und Mathematik) vorgelegt. Zusätzlich mussten diese Befragten ein 30-minütiges Basisinterview beantworten. Die andere Hälfte der Befragten erhielt ebenfalls das 30-minütige Basisinterview, aber nur einen der beiden Kompetenztests. Durch dieses Design konnte sowohl der Effekt der Ankündigung der entsprechenden Befragung auf die Testteilnahme in der laufenden Welle als auch die Effekte auf die Teilnahme an der Folgewelle untersucht werden.

Die Ergebnisse zeigen, dass Befragte in der Gruppe mit der längeren Testvariante stärker dazu tendierten, die Testteilnahme zu vermeiden, indem sie auf ein im Rahmen des Methodenmix alternativ mögliches Telefoninterview (ohne Tests) auswichen oder im persönlichen Interview die Testteilnahme verweigerten bzw. den Test abbrachen. Im Gegensatz dazu konnten wir keinen direkten Effekt der Testdauer auf die Teilnahme an der Folgewelle feststellen. Was sich allerdings zeigt, ist ein negativer Zusammenhang zwischen den Testergebnissen einer befragten Person und einer Teilnahmeverweigerung in der Folgewelle – und dieser Effekt ist für die Befragten in der Zwei-Test-Variante besonders stark. Diese Quelle des Nonresponse-Bias ließe sich u.E. durch zwei Maßnahmen minimieren: eine Verkürzung der Testdauer und die Verwendung adaptiver Tests.