Demostración de atención
Explora pesos de atención y salidas ponderadas para tokens y parches de imagen.
About this tool
La atención forma puntuaciones S = QKᵀ/√dₖ, aplica softmax en cada fila de consulta y luego calcula O = AV. La tabla de la consulta seleccionada muestra la puntuación, el peso, el valor y la contribución ponderada. Los valores cambian la salida, no los pesos. Cada fila permitida suma 1. Una máscara causal permite solo claves hasta la consulta inclusive; las celdas cruzadas tienen peso exactamente cero. Las puntuaciones mostradas son los productos escalares originales sin máscara.
Esto es un juguete sin entrenar. Cinco etiquetas de token neutrales reciben vectores aleatorios reproducibles a partir de la semilla; Q = K = V = E. Las D características se reparten por igual entre H cabezas, así que D debe ser divisible por H. No hay proyecciones aprendidas ni embeddings de posición. Elige cualquier cabeza y consulta sin recalcular. Las salidas de todas las cabezas se concatenan con Wᴼ = I; los detalles muestran la matriz N × D real. Las etiquetas no aportan comprensión del lenguaje.
El modo de parches usa una cabeza y no hay máscara causal. Una imagen se estira a 64 × 64 píxeles sobre blanco y se divide en dieciséis parches de 16 × 16. Cada parche promedia todos los valores de canal RGB a v en [0,1], dando E = [v, 1−v, v/2, 1/4]. Esta media de canal no es luminancia fotométrica. La cuadrícula usa índices por filas 4y + x. Ilustra atención por parches, no un ViT entrenado ni reconocimiento de imágenes. Subir o Demo prepara la imagen; Calcular computa la atención. Los archivos tienen un límite de 10 MiB; las imágenes decodificadas, de 16 millones de píxeles.
Los cambios del modelo borran sus resultados; las elecciones de cabeza y consulta solo cambian la vista. Los borradores de entrada y las selecciones sobreviven a la navegación y recarga si caben en el límite de cookies de la plataforma y se pueden codificar. Las imágenes permanecen solo en la sesión actual de la página. La opacidad del mapa de calor usa la misma escala de raíz cuadrada de 0 a 1 (el peso 0.25 es el punto medio); la tabla da los valores exactos mostrados cuando los colores son tenues.