Outil gratuit
Robots.txt checker gratuit pour l’IA
Collez votre URL et voyez instantanément quels robots IA peuvent accéder à votre site. Nous lisons votre robots.txt en direct et vérifions plus de 15 robots (GPTBot, ClaudeBot, PerplexityBot et plus) pour que vous sachiez si vous bloquez du trafic IA par accident.
Analysez votre robots.txt
- 100 % gratuit
- Sans inscription
- Résultats instantanés
Pourquoi les robots IA comptent
L’accès des robots dans robots.txt est la première porte pour les cas d’usage d’entraînement et de récupération.
GPTBot et ChatGPT
Les robots d’OpenAI (notamment GPTBot et les user agents associés) collectent des pages publiques pour la navigation de ChatGPT et des usages liés au modèle. S’ils sont bloqués, ChatGPT risque moins de s’appuyer sur votre site comme source.
ClaudeBot
Anthropic utilise ClaudeBot et Anthropic-AI pour récupérer du contenu web pour Claude. Votre robots.txt est la première porte pour déterminer si ces agents peuvent du tout accéder à vos pages.
PerplexityBot
PerplexityBot alimente les réponses en direct et les citations de Perplexity. Le bloquer peut vous retirer de ces panneaux de réponse, parfois volontairement, parfois par accident avec une règle générale User-agent: * .
Chaque robot suit son propre groupe User-agent quand votre fichier en contient un. Un robot sans groupe propre suit le groupe *, ce que nous indiquons par « via * ». Les lignes User-agent consécutives partagent un même groupe, et la règle Allow ou Disallow correspondante la plus longue l’emporte, comme le prévoit la RFC 9309.
Étape suivante
Auditez le reste de votre configuration techniquerobots.txt est un signal. L’audit complet couvre les données structurées, le rendu et les Core Web Vitals pour les robots IA.
Passez d’un instantané à une visibilité IA permanente
L’outil gratuit est un point de départ rapide et honnête. Rank Prompt en fait un programme qui suit, compare et améliore la façon dont l’IA parle de vous.
En ce moment
Ce vérificateur gratuit
- Vérifie plus de 15 robots IA dans votre robots.txt
- Récupération en direct, sans inscription
- Une lecture ponctuelle, pas un suivi
La vue d’ensemble
Plateforme Rank Prompt
- Suit votre visibilité sur ChatGPT, Gemini, Perplexity, Claude, Grok et Google AI Mode (AI Overviews)
- Exécute tout votre set de prompts selon une planification, pas une seule requête ponctuelle
- Share of voice face à la concurrence et évolution du positionnement dans le temps
- Alertes en cas de gain ou de perte de terrain, plus des rapports exportables
- Contenu optimisé pour l’IA, audits SEO et insights sur les citations
Que sont les robots IA et pourquoi explorent-ils mon site ?
Les robots IA (comme GPTBot, ClaudeBot et PerplexityBot) sont des robots d’exploration automatisés envoyés par des entreprises d’IA pour indexer le contenu web. Ces données aident à entraîner les modèles IA et à fournir des réponses en temps réel. Si votre robots.txt bloque ces robots, les assistants IA pourraient ne pas pouvoir référencer ou recommander votre contenu quand les utilisateurs posent des questions pertinentes.
Quels robots IA dois-je autoriser dans mon robots.txt ?
Autorisez au minimum GPTBot (ChatGPT), ClaudeBot (Claude d’Anthropic), PerplexityBot et Google-Extended (Gemini). Ils couvrent les principales plateformes IA où les acheteurs découvrent des marques. Les bloquer signifie que votre contenu ne sera pas inclus dans les recommandations générées par IA, qui est de plus en plus le point de départ des décisions d’achat.
Comment débloquer les robots IA dans mon robots.txt ?
Ouvrez votre fichier robots.txt (généralement à yourbrand.com/robots.txt) et supprimez toute règle Disallow pour les user agents des robots IA. Par exemple, si vous voyez « User-agent: GPTBot / Disallow: / », changez la ligne Disallow en « Allow: / » ou supprimez complètement le blocage. Si le robot n’est pas du tout mentionné, il suit votre groupe User-agent: *, et sans groupe * il peut tout explorer.
Autoriser les robots IA va-t-il nuire aux performances ou à la sécurité de mon site ?
Non. Les robots IA se comportent comme les robots des moteurs de recherche tels que Googlebot. Ils lisent vos pages publiques mais ne modifient rien. Leur fréquence d’exploration est généralement faible et n’affecte pas les performances du serveur. Les autoriser garantit simplement que votre contenu peut être référencé quand les assistants IA répondent à des questions pertinentes.
Que signifient « via * » et « sans règle » dans les résultats ?
« Autorisé via * » ou « Bloqué via * » signifie que votre robots.txt n’a pas de groupe pour ce robot, qui suit donc votre groupe User-agent: *, comme le font les robots qui respectent la RFC 9309. « Autorisé, sans règle » signifie qu’il n’existe ni groupe pour ce robot ni groupe *, donc rien ne l’empêche d’explorer. Un robot qui a son propre groupe ignore complètement le groupe *, alors répétez les lignes Disallow communes dans chaque groupe nommé.
Un bot autorisé signifie-t-il que les robots d’IA visitent vraiment mon site ?
Non. Le robots.txt dit seulement qui peut explorer. Pour voir qui l’a fait, importez le log d’accès de votre serveur dans Rank Prompt : il compte les visites de chaque robot d’IA, les vérifie avec les plages d’IP que publie l’entreprise du robot et liste les pages qu’ils lisent et les erreurs qu’ils rencontrent. Le guide des logs des robots d’IA explique comment exporter le log.
Allez au-delà d’une vérification ponctuelle des robots
Suivez la visibilité IA dans le temps, comparez-vous à la concurrence et agissez avec des recommandations claires, pas seulement un fichier statique unique.