A System for Interactive Multimedia Retrieval Evaluations

Das Kapitel stellt den Distributed Retrieval Evaluation Server (DRES) vor, ein hoch entwickeltes System, das die Komplexität der Bewertung interaktiver Multimedia-Abrufsysteme adressiert. Es befasst sich mit der Entwicklung der Multimedia-Suche als Hauptdisziplin innerhalb der "Big Data" -Forschung und den Herausforderungen, die mit der Bewertung der Interaktionen zwischen Mensch und System in solchen Kontexten verbunden sind. Die Autoren stellen DRES als flexible, modulare und Open-Source-Lösung vor, die verschiedene Arten von Retrieval-Evaluierungen unterstützt, auch solche, die in verteilten Umgebungen durchgeführt werden. Das Kapitel beschreibt die Architektur, die Fähigkeiten und den erfolgreichen Einsatz des Systems in prominenten Bewertungskampagnen wie dem Video Browser Showdown (VBS) und der Lifelog Search Challenge (LSC). Außerdem wird das Potenzial des Systems für zukünftige Erweiterungen diskutiert, wie etwa die Unterstützung asynchroner Auswertungen, was es zu einem entscheidenden Werkzeug für die Förderung des Bereichs interaktiver Multimedia-Abrufe macht.