Robots.txt-Simulator

robots.txt einfügen, den Produktnamen des Crawlers eingeben (z. B. Googlebot, nicht den ganzen HTTP-Header) und einen Pfad einschließlich Query. Regeln prüfen oder Enter wählen; im Editor Strg/⌘+Enter.

Exakt passende Botgruppen werden ohne Beachtung der Großschreibung zusammengeführt. Nur wenn keine existiert, gilt *. Pfade unterscheiden Großschreibung; * steht für beliebig viele Zeichen, ein abschließendes $ für das Ende. Das längste normalisierte Muster gewinnt, einschließlich * und $ in der Oktettlänge; bei Gleichstand Allow. Diese Priorität folgt Googles öffentlichem Matcher. Unicode und Prozentkodierungen werden normalisiert; ein kodiertes reserviertes Trennzeichen wie %2F bleibt von / verschieden. Fragmente entfallen, Querys bleiben erhalten.

Leere Allow-/Disallow-Zeilen wirken nicht als Regel, trennen aber Botgruppen. Ungültige Zeilen werden gemeldet; andere Angaben wie Sitemap ignoriert. Keine Sitemap-, Abruf-, Cache-, HTTP-Status- oder Indexierungssimulation. robots.txt ist keine Zugriffskontrolle.

Lokaler Text ohne Upload oder dauerhafte Speicherung. Entwürfe bleiben beim Navigieren im RAM; Neuladen stellt das Beispiel wieder her. Grenzen: 512 KiB UTF-8-Text, 16 KiB Pfad und 8 Millionen Abgleichschritte. Überschreitungen ergeben Fehler statt Teilergebnisse.