Outil gratuit
Générateur de robots.txt
Décidez quels crawlers IA peuvent lire votre site, bot par bot, et obtenez un robots.txt qui dit exactement cela.
- 100 % gratuit
- Sans inscription
- Résultats instantanés
Rédiger votre robots.txt
Recherche, entraînement et visites utilisateur
Les sociétés d’IA utilisent désormais un crawler par tâche : vous pouvez rester dans les réponses IA sans livrer vos pages à l’entraînement des modèles.
Crawlers de recherche
OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot et Applebot construisent les index que citent les réponses IA. Les bloquer empêche ces réponses de vous citer en lien.
Crawlers d’entraînement
GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent, Bytespider et CCBot collectent des données pour entraîner les modèles. Les bloquer vous retire de l’entraînement, pas de la recherche.
Pourquoi les chemins se répètent
Un crawler avec son propre groupe ignore le groupe *. Chaque chemin privé est donc réécrit dans chaque groupe nommé ; sinon ce bot le lirait.
Étape suivante
Surveiller l’accès des crawlers IA dans Rank PromptL’audit technique lit votre robots.txt à chaque vérification et signale le jour où une mise en ligne bloque un crawler IA.
Passez d’un instantané à une visibilité IA permanente
L’outil gratuit est un point de départ rapide et honnête. Rank Prompt en fait un programme qui suit, compare et améliore la façon dont l’IA parle de vous.
En ce moment
Ce générateur gratuit
- Les règles d’un site
- Relues dans le navigateur
- Pas de suivi de votre fichier en ligne
La vue d’ensemble
Plateforme Rank Prompt
- Suit votre visibilité sur ChatGPT, Gemini, Perplexity, Claude, Grok et Google AI Mode (AI Overviews)
- Exécute tout votre set de prompts selon une planification, pas une seule requête ponctuelle
- Share of voice face à la concurrence et évolution du positionnement dans le temps
- Alertes en cas de gain ou de perte de terrain, plus des rapports exportables
- Contenu optimisé pour l’IA, audits SEO et insights sur les citations
Bloquer GPTBot me retire-t-il des réponses de ChatGPT ?
Non. GPTBot collecte des données d’entraînement. La recherche ChatGPT utilise OAI-SearchBot, et les visites demandées par une personne utilisent ChatGPT-User. Autorisez-les pour rester dans les réponses de ChatGPT.
Google-Extended contrôle-t-il les AI Overviews ?
Non. Google indique que Google-Extended régit l’entraînement et le grounding de Gemini, sans effet sur la recherche Google. AI Overviews et AI Mode viennent de l’index de Googlebot.
Les crawlers IA respectent-ils robots.txt ?
Les principaux crawlers d’entraînement et de recherche disent que oui. Les visites déclenchées par un utilisateur, comme ChatGPT-User, Perplexity-User et Meta-ExternalFetcher, peuvent ne pas le faire, selon leurs éditeurs.
Où placer le fichier ?
À la racine du domaine, en /robots.txt. Chaque sous-domaine a besoin du sien.
Sachez quand une mise en ligne bloque les crawlers IA
Rank Prompt vérifie l’accès des crawlers, le schema et la préparation IA sur chaque page suivie, et vous dit ce qui a changé.