Mundo grid RL

Selecciona una cuadrícula y Q-learning o SARSA. Entrenar ejecuta un número limitado de episodios; Pausa y Continuar conservan el episodio y la secuencia aleatoria. Un paso realiza una transición y muestra Q antes, el objetivo y Q después. Cambiar los ajustes borra el aprendizaje.

Selecciona una casilla accesible para ver sus cuatro valores Q y probabilidades reales ε-greedy. Las flechas indican las mejores acciones; los empates comparten la probabilidad greedy. La exploración elige entre las cuatro acciones. I marca el inicio y M la meta; el borde interior señala al agente y los bordes azules su trayectoria actual o anterior.

La meta da +1 y termina el episodio. Cada otro paso da −0,01, incluso al chocar con una pared o límite, donde el agente permanece en su lugar. Un episodio termina a los 200 pasos. Q-learning usa recompensa + γ max Q(siguiente), SARSA recompensa + γ Q(siguiente, acción elegida). En la meta, el objetivo solo contiene la recompensa. Actualización: Q ← Q + α(objetivo − Q).

La semilla reproduce una ejecución con ajustes idénticos. Límites: 1–1000 episodios, ε/α/γ entre 0 y 1. El gráfico muestra cada episodio completado, incluidos los limitados. Esta pequeña cuadrícula determinista con acciones aleatorias no garantiza convergencia ni una estrategia óptima. La exploración no disminuye automáticamente.