4. Entscheiden und Lernen in einer unbekannten Umwelt

In diesem Kapitel wird beschrieben, wie ein Agent ein unbekanntes Umweltsystem, in das er gesetzt wurde, erkunden kann. Dabei entdeckt er Zustände mit Belohnungen und muss zum einen die Pfade zu diesen Zielen optimieren, d. h. seine „Performanz verbessern“, zum anderen aber auch neue Ziele und Handlungsoptionen erkunden. Hierbei muss der Agent einen Kompromiss zwischen „Ausbeutung“ (Exploitation) und „Erkundung“ (Exploration) berücksichtigen. Einerseits muss er den möglichen Lohn bereits entdeckter Ziele kassieren, andererseits die Erkundung bewerkstelligen ohne zu wissen, ob sich der Abstecher ins Neuland überhaupt lohnt. Hierbei gibt es verschiedene Ansätze, die wertvollen Erfahrungen zu verarbeiten, die der Agent sammelt. Zum einen zielen sie darauf ab, diese so zu verarbeiten, dass der Agent unter gleichen Bedingungen künftig besser reagiert („Modellfreie Methoden“), zum anderen gibt es Ansätze, die darauf abzielen, Modelle zu verbessern, die vorhersagen können, was bei der Auswahl bestimmter Aktionen passieren würde. Zudem gibt es auch Ansätze, die Exploration zu optimieren. Dabei können Begriffe wie bspw. „Neugier“ oder „Langeweile“ als Inspirationsquelle dienen.