Robots.txt Simulator

Collez robots.txt, indiquez le jeton du robot (Googlebot, pas son en-tête HTTP complet) et un chemin avec sa requête. Lancez le test ou appuyez sur Entrée ; Ctrl/⌘+Entrée dans l’éditeur.

Les groupes du même robot sont fusionnés sans distinction de casse. * ne sert qu’en l’absence de groupe exact. Les chemins distinguent la casse ; * représente une suite quelconque et $ final impose la fin. Le motif normalisé le plus long gagne, en comptant * et $ dans sa longueur en octets ; Allow gagne les égalités, comme dans le moteur public de Google. Unicode et encodages pour cent sont normalisés ; %2F reste distinct de /. Les fragments sont exclus, la requête conservée.

Les directives Allow/Disallow vides séparent les groupes mais ne bloquent rien. Les lignes invalides sont signalées ; les autres directives comme Sitemap sont ignorées. Aucune simulation de sitemap, réseau, cache, état HTTP ou indexation. robots.txt ne contrôle pas les accès.

Traitement local sans envoi ni stockage persistant. Brouillons en RAM pendant la navigation ; recharger rétablit l’exemple. Limites : 512 Kio UTF-8, chemin 16 Kio et 8 millions d’étapes. Dépassement : erreur sans résultat partiel.