Kostenloses Tool
Robots.txt Generator
Entscheide Bot für Bot, welche KI-Crawler deine Website lesen dürfen, und erhalte eine robots.txt, die genau das sagt.
- 100 % kostenlos
- Keine Anmeldung
- Sofortige Ergebnisse
Schreib deine robots.txt
Suche, Training und Nutzerabrufe
KI-Firmen betreiben heute für jede Aufgabe einen eigenen Crawler. So bleibst du in KI-Antworten, ohne deine Seiten dem Modelltraining zu geben.
Such-Crawler
OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot und Applebot bauen die Indizes, die KI-Antworten zitieren. Blockierst du sie, können diese Antworten nicht auf dich verlinken.
Trainings-Crawler
GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent, Bytespider und CCBot sammeln Daten für das Modelltraining. Sie zu blockieren hält dich aus dem Training heraus, nicht aus der Suche.
Warum Pfade sich wiederholen
Ein Crawler mit eigener Gruppe ignoriert die *-Gruppe. Deshalb steht jeder private Pfad in jeder benannten Gruppe noch einmal, sonst würde dieser Bot ihn lesen.
Nächster Schritt
KI-Crawler-Zugang in Rank Prompt überwachenDas technische Audit liest deine robots.txt bei jedem Check und meldet den Tag, an dem ein Release einen KI-Crawler blockiert.
Von einer Momentaufnahme zu dauerhafter KI-Sichtbarkeit
Das kostenlose Tool ist ein schneller, ehrlicher Einstieg. Rank Prompt macht daraus ein Programm, das verfolgt, vergleicht und verbessert, wie die KI über dich spricht.
Gerade jetzt
Dieser kostenlose Generator
- Die Regeln für eine Website
- Im Browser zurückgelesen
- Keine Überwachung deiner Live-Datei
Das Gesamtbild
Rank-Prompt-Plattform
- Verfolgt deine Sichtbarkeit bei ChatGPT, Gemini, Perplexity, Claude, Grok & Google AI Mode (AI Overviews)
- Führt dein gesamtes Prompt-Set nach Zeitplan aus, nicht nur einmal eine Anfrage
- Share of Voice gegenüber der Konkurrenz und Ranking-Entwicklung über die Zeit
- Benachrichtigungen bei Auf- oder Abstieg, plus exportierbare Berichte
- KI-optimierter Content, SEO-Audits und Zitat-Insights
Nimmt mich das Blockieren von GPTBot aus ChatGPT-Antworten?
Nein. GPTBot sammelt Trainingsdaten. Die ChatGPT-Suche nutzt OAI-SearchBot, und Abrufe, die eine Person auslöst, nutzen ChatGPT-User. Erlaube diese, um in ChatGPT-Antworten zu bleiben.
Steuert Google-Extended die AI Overviews?
Nein. Laut Google regelt Google-Extended das Training und Grounding von Gemini und wirkt sich nicht auf die Google-Suche aus. AI Overviews und AI Mode kommen aus dem Googlebot-Index.
Halten sich KI-Crawler an robots.txt?
Die großen Trainings- und Such-Crawler sagen ja. Abrufe, die ein Nutzer auslöst, wie ChatGPT-User, Perplexity-User und Meta-ExternalFetcher, tun es laut ihren Betreibern womöglich nicht.
Wohin kommt die Datei?
In das Stammverzeichnis der Domain, als /robots.txt. Jede Subdomain braucht ihre eigene.
Erfahre, wann ein Release KI-Crawler blockiert
Rank Prompt prüft Crawler-Zugang, Schema und KI-Bereitschaft auf jeder verfolgten Seite und sagt dir, was sich geändert hat.