Tokenizer BPE de caractères

Modèle pédagogique de BPE sur caractères Unicode, pas un tokenizer GPT ou à octets. Ses IDs n’ont pas de sens dans un modèle externe.

La normalisation applique les minuscules si choisies, retire les espaces ECMAScript extérieurs et réduit leurs séquences internes à un espace. Pas de NFC/NFKC. Chaque mot reçoit ▁, même le premier. Ce marqueur littéral et les surrogates isolés sont refusés ; les contrôles sont affichés sous forme échappée. Corpus : 40 000 points de code ; texte : 4 000, avant et après normalisation. Un corpus vide est refusé, un encodage vide accepté.

Le corpus apprend la paire adjacente la plus fréquente, de fréquence minimale deux, pondérée par les occurrences des mots. Les égalités suivent l’ordre des points de code des deux tokens. Les positions qui se chevauchent comptent, mais les remplacements se font de gauche à droite sans chevauchement : aaaa contient trois paires a+a, mais deux remplacements. Les IDs commencent à zéro et désignent des chaînes uniques.

Les fusions actives sélectionnent un préfixe des rangs appris. La courbe montre les tokens du corpus, pas des octets ni un taux de compression. Encoder choisit le plus petit rang disponible, puis la paire la plus à gauche. Les caractères inconnus restent visibles sans ID et bloquent la copie. Les IDs connus reconstruisent le texte normalisé, pas les espaces ou majuscules d’origine. Le ratio compte les espaces normalisés mais pas les marqueurs ajoutés ; les marqueurs comptent comme tokens. Une modification du préfixe actualise un texte déjà encodé.

Modifier corpus, limite ou minuscules supprime le modèle. L’entraînement est fractionné et annulable ; quitter ou masquer la page annule un travail en cours. Réinitialiser conserve les entrées. Les tokens sont paginés par cent, avec leur ID visible et le contenu long dépliable. Ces sources sont conceptuelles : nos règles de normalisation, préfixe, fréquence minimale et égalité sont spécifiques.

Sennrich, Haddow & Birch (2016) · SentencePiece

Seules les valeurs saisies sont conservées dans ce navigateur. Les résultats calculés et historiques ne sont pas enregistrés.