Wie bei der Richtlinienauswertung erfordert die Werteiteration formal eine unendliche Anzahl von Iterationen, um genau zu zu konvergieren. In der Praxis hören wir auf, sobald sich die Wertfunktion in einem Sweep nur um einen kleinen Betrag ändert. … Alle diese Algorithmen konvergieren zu einer optimalen Richtlinie für diskontierte endliche MDPs.
Ist die Wertiteration deterministisch?
Trotzdem ist Wertiteration eine geradlinige Verallgemeinerung des deterministischen Falls. Es kann bei dynamischen Problemen, bei höherer Unsicherheit oder starker Zufälligkeit robuster sein. WENN keine Änderung der Richtlinie, Rückgabe als optimale Richtlinie, SONST weiter mit 1.
Ist die Wertiteration optimal?
3 Wertiteration. Wertiteration ist eine Methode zur Berechnung einer optimalen MDP-Richtlinie und ihres WertesDas Speichern des V-Arrays führt zu weniger Speicherplatz, aber es ist schwieriger, eine optimale Aktion zu bestimmen, und es ist eine weitere Iteration erforderlich, um zu bestimmen, welche Aktion zum größten Wert führt. …
Was ist der Unterschied zwischen Richtlinieniteration und Wertiteration?
Bei der Policy-Iteration beginnen wir mit einer festen Policy. Umgekehrt beginnen wir bei der Wertiteration mit der Auswahl der Wertfunktion. Dann verbessern wir in beiden Algorithmen iterativ, bis wir Konvergenz erreichen.
Was ist der Iterationswert?
Grundsätzlich berechnet der Wertiterationsalgorithmus die optimale Zustandswertfunktion durch iteratives Verbessern der Schätzung von V (s). Der Algorithmus initialisiert V(s) auf beliebige Zufallswerte. Es aktualisiert wiederholt die Q(s, a)- und V(s)-Werte, bis sie konvergieren.
