Tokenizador BPE de caracteres

Modelo educativo de BPE sobre caracteres Unicode, no un tokenizador GPT ni de bytes. Sus IDs no tienen significado en un modelo externo.

La normalización aplica minúsculas si se eligen, elimina espacios ECMAScript exteriores y reduce cada secuencia interior a un espacio. Sin NFC/NFKC. Cada palabra recibe ▁, también la primera. Se rechazan ese marcador literal y sustitutos sin pareja; los controles se muestran escapados. Corpus: 40 000 puntos de código; texto: 4 000, antes y después de normalizar. Corpus vacío inválido; codificación vacía válida.

Se aprende el par adyacente más frecuente, con frecuencia mínima dos y ponderación por ocurrencias de palabras. Los empates siguen el orden de puntos de código de ambos tokens. Se cuentan posiciones solapadas, pero se sustituye de izquierda a derecha sin solapamiento: aaaa contiene tres pares a+a y dos sustituciones. Los IDs comienzan en cero e identifican cadenas únicas.

Las fusiones activas eligen un prefijo de rangos aprendidos. La curva cuenta tokens del corpus, no bytes ni compresión. Codificar aplica el menor rango disponible y, si empatan, el par más a la izquierda. Los caracteres desconocidos permanecen visibles sin ID y bloquean la copia. Los IDs conocidos reconstruyen texto normalizado, no espacios ni mayúsculas originales. El ratio incluye espacios normalizados pero excluye marcadores añadidos; los marcadores sí cuentan como tokens. Cambiar el prefijo actualiza texto ya codificado.

Editar corpus, límite o minúsculas descarta el modelo. Entrenamiento por bloques, cancelable; salir u ocultar la página cancela trabajos pendientes. Restablecer conserva entradas. Tokens en páginas de cien, con ID visible y contenido largo desplegable. Fuentes conceptuales: nuestras reglas de normalización, prefijos, frecuencia mínima y empates son propias.

Sennrich, Haddow & Birch (2016) · SentencePiece

Solo se conservan los valores introducidos en este navegador. No se guardan los resultados calculados ni los historiales.