Démo d’attention

L’attention forme les scores S = QKᵀ/√dₖ, applique softmax sur chaque ligne de requête, puis calcule O = AV. Le tableau de la requête sélectionnée montre le score, le poids, la valeur et la contribution pondérée. Les valeurs changent la sortie, pas les poids. Chaque ligne autorisée somme à 1. Un masque causal n’autorise que les clés jusqu’à la requête incluse ; les cellules barrées ont un poids exactement nul. Leurs scores affichés sont les produits scalaires d’origine, sans masque.

C’est un jouet non entraîné. Cinq étiquettes de tokens neutres reçoivent des vecteurs aléatoires reproductibles à partir de la graine ; Q = K = V = E. Les D caractéristiques sont réparties également entre H têtes, donc D doit être divisible par H. Il n’y a ni projections apprises ni plongements de position. Sélectionnez n’importe quelle tête et requête sans recalculer. Les sorties de toutes les têtes sont concaténées avec Wᴼ = I ; le détail montre la matrice N × D réelle. Les étiquettes n’apportent pas de compréhension linguistique.

Le mode patch utilise une tête et aucun masque causal. Une image est étirée à 64 × 64 pixels sur fond blanc, puis découpée en seize patchs 16 × 16. Chaque patch moyenne toutes les valeurs des canaux RGB en v ∈ [0,1], d’où E = [v, 1−v, v/2, 1/4]. Cette moyenne de canaux n’est pas une luminance photométrique. La grille utilise les indices row-major 4y + x. Ceci illustre l’attention par patch, pas un ViT entraîné ni une reconnaissance d’images. Téléverser ou Démo prépare l’image ; Calculer calcule l’attention. Fichiers limités à 10 MiB, images décodées à 16 millions de pixels.

Modifier le modèle efface ses résultats ; choisir une tête ou une requête change seulement la vue. L’opacité de la carte utilise toujours la même échelle racine carrée de 0 à 1 (le poids 0,25 est au milieu) ; le tableau fournit les valeurs numériques lorsque les couleurs sont faibles.

Attention Is All You Need, §3.2 · Vision Transformer, §3.1

Seules les valeurs saisies sont conservées dans ce navigateur. Les résultats calculés et historiques ne sont pas enregistrés.