SAGE: Task-Environment Platform for Evaluating a Broad Range of AI Learners

Während es verschiedene Werkzeuge zur Ausbildung und Bewertung schmaler maschineller Lernalgorithmen (ML) gibt, folgt ihr Design in der Regel keiner bestimmten oder expliziten Evaluierungsmethode oder -theorie. Umgekehrt gilt dies für allgemeinere Lernende, wo viele Evaluierungsmethoden und -rahmen vorgeschlagen wurden, aber nur wenige spezifische Werkzeuge existieren.In diesem Aufsatz stellen wir ein neues Rahmenwerk für eine breite Evaluierung künstlicher Intelligenz (KI) vor und ein neues Werkzeug, das auf dieser Methodik aufbaut.Die Plattform namens SAGE (Simulator for Autonomy & Generality Evaluation) arbeitet für die Ausbildung und Bewertung einer breiten Palette von Systemen und ermöglicht einen detaillierten Vergleich zwischen engen und allgemeinen ML und KI. Sie bietet eine Vielzahl von Tuning- und Aufgabenkonstruktionsoptionen, die die Isolierung einzelner Parameter über Komplexitätsdimensionen hinweg ermöglichen.SAGE zielt darauf ab, AI-Forschern dabei zu helfen, Stärken und Schwächen divergierender Ansätze zu kartieren und zu vergleichen. Unsere Hoffnung ist, dass sie dazu beitragen kann, das Verständnis der verschiedenen Aufgaben, die wir AI-Systeme durchführen wollen, und die Beziehung zwischen ihren unterschiedlichen Zusammensetzungssystemen, die Zusammensetzung und die Schwierigkeitssysteme sowie die Übersichtlichkeit und den frühen Anwendungsfall sowie die Übersichtlichkeit der Erstellung von Papieren und die Anwendungsmöglichkeiten für die Übersichtlichkeit als klarere Anwendungsmöglichkeiten zur Verfügung stellt.