The Interim Experiment Report: A Systematic Account of The Experimental Design of Large Language Model-Based Text-to-Model Approaches

Das Kapitel geht auf die experimentellen Konzepte ein, die zur Evaluierung von Text-zu-Modell-Ansätzen auf Basis des Large Language Model (LLM) verwendet werden, wobei der Schwerpunkt auf zentralen Überlegungen und Praktiken liegt. Es identifiziert sechs übergeordnete Kategorien: Evaluierungsziele, Evaluierungsfokus, Input- und Output-Datensatz, Evaluierungsmittel, Bewertungskriterien und LLM-bezogene unabhängige Variablen. Jede Kategorie ist weiter in relevante Unterkategorien unterteilt und bietet einen detaillierten Rahmen für die experimentelle Gestaltung. Das Kapitel behandelt auch die Bedeutung allgemeiner und LLM-spezifischer Überlegungen und bietet Einblicke in die Bewertung von LLM-generierten Modellen. Die durchgeführte systematische Literaturrecherche unterstreicht die Vielfalt experimenteller Konzepte und die Notwendigkeit einer strukturierten Synthese als Leitfaden für zukünftige Bewertungen. Das Kapitel schließt mit wichtigen Erkenntnissen und Punkten für die weitere Forschung, wobei das Potenzial von LLMs bei konzeptionellen Modellierungsaufgaben hervorgehoben wird.