Evaluating the Strategy to Deploy Large Language Models to Label Training Data in the Process of Fake News Detection

Dieses Kapitel befasst sich mit dem strategischen Einsatz großer Sprachmodelle (Large Language Modells, LLMs) zur Kennzeichnung von Trainingsdaten zur Erkennung von Fake News und präsentiert einen nuancierten, fragebasierten Ansatz zur Bewertung der Glaubwürdigkeit von Nachrichten. Die Forschung konzentriert sich auf den SWAROG-Datensatz und verwendet eine Reihe von Fragen, um verschiedene Dimensionen von Nachrichteninhalten wie Quellenzuverlässigkeit, sachliche Genauigkeit und potenzielle Voreingenommenheit zu bewerten. Die Studie vergleicht die Leistung verschiedener LLMs, darunter Llama, ChatGPT, Claude und Zwillinge, bei der Beantwortung dieser Fragen, wobei Llama die höchste Genauigkeit erzielt. Das Kapitel untersucht auch die Integration von LLMs mit menschlicher Aufsicht, um die Etikettenüberprüfung zu verbessern und Datendrift zu bekämpfen, wodurch sichergestellt wird, dass das Modell präzise und anpassungsfähig bleibt. Darüber hinaus werden die Herausforderungen diskutiert, nuancierte Aspekte von Fehlinformationen wie Satire und Täuschung zu erkennen, und das Potenzial von LLMs, die allgemeine Qualität von Trainingsdaten zu verbessern. Die Ergebnisse deuten darauf hin, dass LLMs effektiv dabei helfen können, Daten zur Erkennung von Fake News zu kommentieren, was eine vielversprechende Lösung für den zeitaufwändigen und teuren Prozess der manuellen Kennzeichnung darstellt.