Ferramenta grátis
Gerador de robots.txt
Decida quais crawlers de IA podem ler seu site, bot a bot, e tenha um robots.txt que diz exatamente isso.
- 100% grátis
- Sem cadastro
- Resultados instantâneos
Escreva seu robots.txt
Busca, treinamento e visitas de usuários
As empresas de IA usam hoje um crawler por tarefa, então dá para continuar nas respostas de IA sem entregar suas páginas ao treinamento de modelos.
Crawlers de busca
OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot e Applebot montam os índices que as respostas de IA citam. Bloqueá-los impede essas respostas de linkar você.
Crawlers de treinamento
GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent, Bytespider e CCBot coletam dados para treinar modelos. Bloqueá-los tira você do treinamento, não da busca.
Por que os caminhos se repetem
Um crawler com grupo próprio ignora o grupo *. Por isso cada caminho privado é escrito de novo dentro de cada grupo com nome; senão aquele bot o leria.
Próximo passo
Monitore o acesso dos crawlers de IA no Rank PromptA auditoria técnica lê seu robots.txt em cada verificação e avisa no dia em que um lançamento começa a bloquear um crawler de IA.
Saia de um retrato único para uma visibilidade em IA sempre ativa
A ferramenta gratuita é um ponto de partida rápido e honesto. A Rank Prompt transforma isso em um programa que monitora, compara e melhora como a IA fala sobre você.
Agora mesmo
Este gerador grátis
- As regras de um site
- Relidas no navegador
- Sem monitorar seu arquivo publicado
O panorama completo
Plataforma da Rank Prompt
- Monitora sua visibilidade no ChatGPT, Gemini, Perplexity, Claude, Grok e Google AI Mode (AI Overviews)
- Roda todo o seu conjunto de prompts de forma agendada, não uma única consulta, uma vez
- Share of voice frente à concorrência e evolução do ranking ao longo do tempo
- Alertas quando você ganha ou perde espaço, além de relatórios exportáveis
- Conteúdo otimizado para IA, auditorias de SEO e insights de citações
Perguntas frequentes
Perguntas sobre o gerador de robots.txt
Ainda tem dúvidas? Fale com nossa equipe
Bloquear o GPTBot me tira das respostas do ChatGPT?
Não. O GPTBot coleta dados de treinamento. A busca do ChatGPT usa o OAI-SearchBot e as visitas que uma pessoa pede usam o ChatGPT-User. Permita esses para continuar nas respostas do ChatGPT.
O Google-Extended controla os AI Overviews?
Não. O Google diz que o Google-Extended rege o treinamento e o grounding do Gemini e não afeta a Busca do Google. AI Overviews e AI Mode vêm do índice do Googlebot.
Os crawlers de IA respeitam o robots.txt?
Os principais crawlers de treinamento e de busca dizem que sim. Visitas disparadas por um usuário, como ChatGPT-User, Perplexity-User e Meta-ExternalFetcher, podem não respeitar, segundo a documentação dos donos.
Onde fica o arquivo?
Na raiz do domínio, como /robots.txt. Cada subdomínio precisa do seu.
Saiba quando um lançamento bloquear crawlers de IA
O Rank Prompt verifica acesso de crawlers, schema e preparação para IA em cada página acompanhada, e diz o que mudou.