Gradientenabstieg-Explorer

Untersuche den Einfluss der Lernrate auf den Gradientenabstieg. In 1D Funktion und Start-x wählen, dann Schritt oder Ausführen. Für (x−2)², x=0 und η=0,1 gilt f′(x)=−4: Der nächste Wert ist x=0,4 mit f(x)=2,56. Jeder Schritt verwendet xₙ₊₁=xₙ−ηf′(xₙ). Die Tabelle zeigt die letzten 20 Schritte; die Kurve enthält den ganzen Pfad und passt ihren Bereich an.

In 3D rendert Anzeigen die gewählte Vorlage. Ein Klick setzt den gemeinsamen Startpunkt; Ziehen dreht und Strg/Meta+Mausrad zoomt. Vergleiche GD, Momentum (β=0,9), Adam (β₁=0,9, β₂=0,999) und vereinfachtes CG/BFGS mit fester Schrittweite. Pause/Ausführen erhält den Optimiererspeicher. Änderungen an Lernrate, Auswahl, Landschaft oder Glättung starten die Pfade neu. Das normale Mausrad scrollt die Seite.

Die Landschaften sind normierte Stichprobenflächen, kein trainiertes Modell: Hügel, Sattel oder log(1+Rosenbrock)/5. Bilder werden geglättet, in Graustufen umgerechnet und auf 0–1 normiert, mit höchstens 72 Abtastpunkten je Seite. Helle Pixel bedeuten höheren Verlust, Koordinaten sind Pixelindizes. Gradienten stammen aus numerischen Differenzen der bilinearen Interpolation; die gerenderten Dreiecke nähern diese Fläche an. CG/BFGS haben keine Liniensuche und können scheitern. Keine stochastischen Minibatches: Die identische vermeintliche SGD-Option wurde entfernt.

Abbruch nach 500 Schritten, bei kleinem Gradienten oder ungültigem Schritt. 3D-Pfade stoppen am Bildrand, ohne dies als Konvergenz auszugeben; 1D stoppt bei |x| über 10⁶. Ein kleiner Gradient kann auch einen Sattel oder ein Maximum bedeuten. Bildlimit: 5 MiB / 16 Megapixel. Alles wird im Browser berechnet; nur die 3D-Ansicht benötigt WebGL. Verborgene Tabs pausieren den Lauf.

CSV exportiert den gesamten aufgezeichneten Pfad mit voller numerischer Präzision, einschließlich der in der Tabelle nicht mehr sichtbaren Schritte.