Mind the Gap: Measuring Generalization Performance Across Multiple Objectives

Das Kapitel "Mind the Gap: Measuring Generalization Performance Across Multiple Objectives" geht der Komplexität der Bewertung multiobjektiver Methoden zur Hyperparameteroptimierung (MHPO) nach. Herkömmliche Bewertungsprotokolle, die auf dem Hypervolumenindikator beruhen, bleiben bei der Anwendung auf multiobjektive Einstellungen aufgrund des Phänomens der Verschiebung der Dominanz von Modellen zwischen Validierung und Testsätzen hinter den Erwartungen zurück. Die Autoren schlagen ein neuartiges Bewertungsprotokoll vor, das optimistische und pessimistische Pareto-Front-Annäherungen einführt, um diese Lücke zu schließen und genauere und zuverlässigere Vergleiche zwischen MHPO-Methoden zu ermöglichen. Das Kapitel enthält auch eine experimentelle Studie, die die Existenz der Approximationslücke und die Effektivität des neuen Protokolls beim Vergleich maschineller Lernmodelle, die für mehrere Messgrößen optimiert sind, nachweist. Diese Arbeit ist unverzichtbar, um den Bereich der multiobjektiven Optimierung voranzutreiben und die Robustheit von maschinellen Lernmodellen in realen Anwendungen sicherzustellen.