RL-Gitterwelt

Gitter und Q-Learning oder SARSA auswählen. Trainieren führt eine begrenzte Anzahl von Episoden aus; Pause und Fortsetzen bewahren die aktuelle Episode und Zufallsfolge. Einzelschritt führt einen Übergang aus und zeigt den alten Q-Wert, den Update-Zielwert und den neuen Wert. Änderungen an den Einstellungen löschen den Lernstand.

Eine begehbare Zelle auswählen, um ihre vier Q-Werte und die tatsächlichen ε-greedy-Aktionswahrscheinlichkeiten zu prüfen. Pfeile zeigen die besten Aktionen; gleich gute Aktionen teilen den Greedy-Anteil. Exploration wählt zwischen allen vier Aktionen. S kennzeichnet den Start, Z das Ziel; der innere Rahmen den Agenten, blaue Rahmen die letzte/aktuelle Spur.

Das Ziel gibt +1 und beendet die Episode. Jeder andere Schritt gibt −0,01, auch beim Treffen einer Wand oder Grenze; dabei bleibt der Agent stehen. Nach 200 Schritten endet eine Episode. Q-Learning verwendet Belohnung + γ max Q(Folgezustand), SARSA Belohnung + γ Q(Folgezustand, gezogene Aktion). Am Ziel besteht der Zielwert nur aus der Belohnung. Das Update lautet Q ← Q + α(Zielwert − Q).

Der Startwert reproduziert einen Lauf mit identischen Einstellungen. Grenzen: 1–1000 Episoden, ε/α/γ zwischen 0 und 1. Der Belohnungsplot zeigt jede abgeschlossene Episode, auch durch das Limit beendete. Dies ist eine kleine deterministische Gitterwelt mit zufälliger Aktionsauswahl, keine Garantie für Konvergenz oder eine optimale gelernte Strategie. Die Exploration nimmt nicht automatisch ab.