Skip to main content

2025 | Buch

PsychometricLLaMA

Training des LLaMA 2-Sprachmodells zur psychometrischen Skalengenerierung

insite
SUCHEN

Über dieses Buch

Die rasante Entwicklung generativer Sprachmodelle eröffnet neue Möglichkeiten der psychologischen Skalenentwicklung. Diese prä-registrierte Arbeit untersucht den Einsatz von Sprachmodellen zur automatischen Generierung von Likert-Items, aufbauend auf bisherigen Ansätzen. Ein neuer Datensatz wurde durch eine systematische Literaturrecherche erstellt und mit bestehenden Quellen kombiniert, um das LLaMA 2-Sprachmodell mittels Low-Rank Adaption zu trainieren. Das Modell generiert auf Basis einer Definition psychologische Items mit Anpassungsmöglichkeiten für Schwierigkeit und Kreativität. Zur Überprüfung der psychometrischen Güte wurden Items zu sechs Konstrukten generiert und online mit N = 200 Personen erhoben.

Die Ergebnisse zeigten vielversprechende psychometrische Kennwerte: Die meisten Items konnten eine gute interne Konsistenz und hohe Korrelationen mit den Originalskalen aufweisen. Allerdings war die Anpassung der Item-Schwierigkeit nicht erfolgreich. Unterschiede in Antwortverteilung und Interkorrelationen zwischen KI- und Originalskalen wurden festgestellt. Insgesamt leistet diese Arbeit einen bedeutenden Beitrag zur psychologischen Fragebogenkonstruktion durch das Fine-Tuning eines KI-Modells zur Generierung reliabler und valider Items.

Inhaltsverzeichnis

Frontmatter
Einleitung
Zusammenfassung
PsychologInnen stehen immer wieder vor der Herausforderung Items entwickeln. Items sind selbst- oder fremdbeschreibende Aussagen, die zur Messung individueller psychologischer Merkmale, sogenannten Konstrukte, verwendet werden (Jonkisz et al., 2012). Dies kann durch den aufkommenden Bedarf begründet sein, ein neues Konstrukt zu messen zu dem noch keine Messinstrumente vorliegen, oder kann durch die regelmäßig durchzuführende Revision von Inventaren notwendig werden (Boateng et al., 2018; Cronje et al., 2022).
Björn Thorben Gilles
Methode
Zusammenfassung
Das Vorgehen für diese Arbeit war in drei Schritte gegliedert. (1) Zuerst wurde ein Datensatz aus Items anhand einer systematischen Literatursuche sowie öffentlich und nicht-öffentlich zugänglichen Datenquellen erstellt. (2) Danach wurden verschiedene Versionen eines Sprachmodells am Datensatz trainiert.
Björn Thorben Gilles
Ergebnisse
Zusammenfassung
Um Hypothesen H1 und H2 zu prüfen, war es notwendig eine grundlegende Item-Selektion durchzuführen. Daher wurde dies zunächst für die Big-Five und Need for Closure Items durchgeführt.
Björn Thorben Gilles
Diskussion
Zusammenfassung
Das Ziel der Arbeit war es, bisherige Ansätze der automatischen Item-Generierung mithilfe von generativer KI zu erweitern, indem ein Sprachmodell trainiert wird, welches umfassende Möglichkeiten der Einstellbarkeit von erzeugten Items aufweist. Dieses wurde genutzt, um Items zu generieren, sowohl zu Konstrukten, welche Teil der Trainingsdaten waren als auch für komplett Neue. Diese Items wurden dann in einer Online-Erhebung teilvalidiert. Die Ergebnisse zeigten, dass das trainierte Sprachmodell in der Lage war, anhand von Konstrukt-Namen und Definitionen Items zu generieren, aus welchen mithilfe einer faktoranalytischen Item-Selektion Skalen gebildet werden konnten.
Björn Thorben Gilles
Backmatter
Metadaten
Titel
PsychometricLLaMA
verfasst von
Björn Thorben Gilles
Copyright-Jahr
2025
Electronic ISBN
978-3-658-46893-4
Print ISBN
978-3-658-46892-7
DOI
https://doi.org/10.1007/978-3-658-46893-4