Explorador de descenso de gradiente

Optimización en paisajes de pérdida 3D; GD, SGD, Adam, etc.

About this tool

Explora el efecto de la tasa de aprendizaje. En 1D elige función y x inicial, luego Paso o Ejecutar. Para (x−2)², x=0 y η=0,1, f′(x)=−4: el siguiente x es 0,4 y f(x)=2,56. Cada paso usa xₙ₊₁=xₙ−ηf′(xₙ). La tabla conserva los últimos 20 pasos; la curva incluye toda la trayectoria y adapta el intervalo.

En 3D, Mostrar dibuja la selección. Un clic elige el inicio común; arrastrar gira y Ctrl/Meta+rueda hace zoom. Compara GD, Momentum (β=0,9), Adam (β₁=0,9, β₂=0,999), y CG/BFGS simplificados de paso fijo. Pausa/Ejecutar conserva la memoria de los optimizadores. Cambiar tasa, selección, superficie o suavizado reinicia las trayectorias. La rueda normal desplaza la página.

Superficies muestreadas y normalizadas, sin modelo entrenado: picos, silla o log(1+Rosenbrock)/5. Las imágenes usan grises suavizados y normalizados a 0–1, hasta 72 muestras por lado. Píxeles claros significan mayor pérdida; las coordenadas son índices de píxel. Los gradientes usan diferencias numéricas de la interpolación bilineal; los triángulos dibujados aproximan esa superficie. CG/BFGS sin búsqueda lineal pueden fallar. No hay minilotes estocásticos: se eliminó la opción SGD idéntica.

Se detiene tras 500 pasos, con gradiente pequeño o paso inválido. En 3D el borde no se presenta como convergencia; en 1D se detiene si |x| supera 10⁶. Un gradiente pequeño también puede indicar silla o máximo. Imágenes: 5 MiB / 16 megapíxeles. Cálculos en el navegador; solo la vista 3D necesita WebGL. Las pestañas ocultas pausan la ejecución.

El CSV exporta toda la trayectoria registrada con precisión numérica completa, incluso los pasos que ya no aparecen en la tabla.