Attention-Demo
Untersuche Attention-Gewichte und gewichtete Ausgaben für Tokens und Bildpatches.
About this tool
Attention bildet Scores S = QKᵀ/√dₖ, wendet Softmax auf jede Queryzeile an und berechnet O = AV. Die Tabelle der gewählten Query zeigt Score, Gewicht, Wert und gewichteten Beitrag. Die Werte ändern die Ausgabe, nicht die Gewichte. Jede erlaubte Zeile summiert sich zu 1. Die kausale Maske erlaubt nur Keys bis einschließlich der Query; durchgestrichene Zellen haben Gewicht null. Ihre angezeigten Scores bleiben die ursprünglichen unmaskierten Skalarprodukte.
Dies ist ein untrainiertes Toy-Modell. Fünf neutrale Tokenlabels erhalten durch den Seed reproduzierbare Zufallsvektoren; Q = K = V = E. D Merkmale werden gleichmäßig auf H Köpfe verteilt, deshalb muss D durch H teilbar sein. Gelernte Projektionen und Positionseinbettungen fehlen. Kopf und Query lassen sich ohne Neuberechnung wählen. Alle Kopfausgaben werden mit Wᴼ = I verkettet; die Details zeigen die tatsächliche N × D-Matrix. Die Labels vermitteln kein Sprachverständnis.
Der Patchmodus verwendet einen Kopf ohne kausale Maske. Ein Bild wird über Weiß auf 64 × 64 Pixel gestreckt und in sechzehn 16 × 16-Patches geteilt. Jedes Patch mittelt alle RGB-Kanalwerte zu v in [0,1]; daraus folgt E = [v, 1−v, v/2, 1/4]. Dieses Kanalmittel ist keine photometrische Leuchtdichte. Die Gitterindizes laufen zeilenweise nach 4y + x. Das veranschaulicht Patch-Attention, keinen trainierten ViT und keine Bilderkennung. Upload oder Demo bereitet das Bild vor; Berechnen führt Attention aus. Dateien sind auf 10 MiB und dekodierte Bilder auf 16 Millionen Pixel begrenzt.
Modelländerungen verwerfen ihre Ergebnisse; Kopf- und Querywahl ändern nur die Ansicht. Eingabeentwürfe und Auswahl bleiben bei Navigation und Neuladen erhalten, sofern sie in die Cookiegrenze passen und kodierbar sind. Bilder bleiben nur in der laufenden Seitensitzung. Die Deckkraft der Heatmap verwendet durchgehend dieselbe Wurzelskala von 0 bis 1 (Gewicht 0,25 liegt in der Mitte); bei schwachen Farben liefert die Tabelle die angezeigten Zahlenwerte.