UCB-Driven Utility Function Search for Multi-objective Reinforcement Learning

Dieses Kapitel vertieft sich in die Komplexität des Lernens multizielgerichteter Verstärkung (MORL), wobei der Schwerpunkt auf den Herausforderungen liegt, die sich aus sich widersprechenden Zielen in der realen Steuerung und Planung ergeben. Der Text stellt UCB-MOPPO vor, eine neuartige Methode, die Erfassungsfunktionen oberer Vertrauensgrenzen (Upper Confidence Bound, UCB) mit proximaler Politikoptimierung (PPO) kombiniert, um effizient nach optimalen Skalarisationsvektoren zu suchen. Das Kapitel untersucht die Grenzen bestehender MORL-Ansätze, insbesondere im Umgang mit einer zunehmenden Anzahl von Zielen und der Granularität des Gewichtsraums. UCB-MOPPO adressiert diese Beschränkungen, indem es das Problem in Teilprobleme mit skalarer Verstärkung zerlegt und einen Surrogat-unterstützten Optimierungsansatz verwendet, um das Hypervolumen des Convex Coverage Set (CCS) zu maximieren. Die Methode wird anhand von sechs multi-objektiven Benchmark-Problemen bewertet, die eine überlegene Leistung in Bezug auf Hypervolumina und Erwartungen-Nutzen-Kennzahlen zeigen. In diesem Kapitel werden auch die Vorteile von UCB-MOPPO im Hinblick auf Recheneffizienz, Skalierbarkeit und Speicherplatzreduzierung diskutiert. Darüber hinaus hebt sie die Fähigkeit der Methode hervor, die Qualität der Pareto-Front mit minimalem Rechenaufwand zu verbessern, wodurch sie sich für ressourcenbeschränkte Umgebungen gut eignet. Der Text schließt mit Anweisungen für zukünftige Forschungen, einschließlich der Erforschung zusätzlicher Pareto-Frontqualitätsindikatoren und Suchalgorithmen für nichtlineare Nutzfunktionsräume.