Guia de integração

Veja quais bots de IA visitam seu site

Um assistente de IA só pode citar uma página que o crawler dele conseguiu ler. Envie um log de acesso do seu servidor ou CDN e veja quais dos 20 crawlers de IA visitam, quais visitas são legítimas e quais páginas falham com eles.

Comece grátis Conheça o recurso

O que faz

  • Saiba quem lê o seu site: visitas de 20 crawlers de IA, entre eles GPTBot, ClaudeBot e PerplexityBot, cada uma marcada pelo motivo: treinamento, índice de busca, pedido de usuário ou anúncios.
  • Separe crawlers legítimos de impostores: uma visita só é verificada quando vem dos endereços que a própria empresa do crawler publica.
  • Encontre as páginas que respondem aos crawlers de IA com 404 ou erro de servidor, as que não podem ser citadas até serem corrigidas.
  • Veja quais páginas cada crawler lê, e como a atividade dele muda dia a dia.
  • Pergunte ao Modo Agente ou ao seu cliente MCP o que os crawlers fizeram nos últimos 30 dias.

O que ela não faz

  • Os resultados cobrem os logs que você envia, então envie uma exportação nova sempre que quiser ver os dias mais recentes.
  • O Common Log Format não tem user agent, então nada nele pode ser contado. Mude o log para o formato combined.
  • Meta, Amazon, ByteDance e Cohere não publicam faixas de endereços para seus crawlers, então essas visitas são contadas mas nunca verificadas.
  • Páginas servidas pelo cache de um CDN nunca chegam ao log do seu servidor de origem. Exporte do CDN para ver essas visitas também.

Antes de começar

Plano A partir do Pro

  • Acesso aos logs de acesso do seu servidor web, ou a uma zona do Cloudflare onde você possa criar um job de Logpush.
  • Um log do nginx ou Apache no formato combined, uma exportação do Cloudflare Logpush, ou uma exportação JSON lines ou CSV que inclua o user agent.
  • Um arquivo de até 100 MB, puro ou compactado com gzip (.gz). Se o log for maior, divida e envie as partes.
Configuração

Logs de crawlers de IA: configuração em 8 passos

  1. Passo 1

    Encontre seu log de acesso

    No nginx ele costuma ficar em /var/log/nginx/access.log; no Apache, em /var/log/apache2/access.log no Debian e Ubuntu ou em /var/log/httpd/access_log no Red Hat. Os dias anteriores ficam ao lado, rotacionados e compactados; envie como estão. Em hospedagem gerenciada, procure Access logs ou Raw logs no painel de controle.

  2. Passo 2

    Confira o formato no nginx

    O formato combined padrão já traz o user agent. Se a linha access_log usa um log_format próprio, confira se ele mantém $remote_addr, $time_local, "$request", $status e "$http_user_agent" na ordem do combined, ou volte para combined.

  3. Passo 3

    Confira o formato no Apache

    Registre com CustomLog e o apelido combined, não common: o formato common não tem user agent. Combined é %h %l %u %t "%r" %>s %b "%{Referer}i" "%{User-agent}i".

  4. Passo 4

    Ou envie os logs pelo Cloudflare

    No painel do Cloudflare, abra a página Logpush do seu domínio e escolha Create a Logpush job. Mande para um destino de onde você consiga baixar, como um bucket do R2, escolha o dataset HTTP requests e envie pelo menos EdgeStartTimestamp, ClientRequestHost, ClientRequestURI, EdgeResponseStatus, ClientRequestUserAgent e ClientIP. Espere um dia, baixe os arquivos e envie como estão.

  5. Passo 5

    Ou exporte um CSV

    Qualquer ferramenta que exporte requisições serve, do painel da hospedagem a um analisador de logs, desde que o arquivo seja JSON lines ou um CSV com linha de cabeçalho. Dê às colunas os nomes timestamp ou time, path ou url, status, user_agent, e ip e host quando você tiver. Vírgulas, ponto e vírgula e tabulações funcionam.

  6. Passo 6

    Ou conecte o Cloudflare, o Vercel ou o WordPress

    Dispense os envios: em Crawlers de IA, o Rank Prompt vê como seu site é servido e oferece primeiro a fonte que combina com ele. O Cloudflare lê cada visita com um token só de leitura, a cada hora. O Vercel recebe um log drain no seu projeto que envia cada visita na hora; drains exigem um time Pro ou Enterprise no Vercel, que cobra o volume. O WordPress envia as visitas a cada cinco minutos pelo plugin Rank Prompt Connector.

  7. Passo 7

    Envie no Rank Prompt

    Abra Explorador, Busca, Crawlers de IA e escolha Enviar um log. Quando o arquivo aparecer como Lido em Logs enviados, os indicadores, o gráfico e as duas tabelas são preenchidos.

  8. Passo 8

    Leia os resultados

    Comece pela taxa de erros e pela tabela de páginas: uma página que responde 404 ou 500 para o OAI-SearchBot ou o PerplexityBot não pode ser lida, muito menos citada. Filtre as páginas por crawler para ver o que cada um lê, e acompanhe a parte verificada: visitas não verificadas podem ser de alguém usando o nome do crawler.

Solução de problemas

Logs de crawlers de IA: erros e soluções

Estas são as mensagens que o app mostra, palavra por palavra, e o que resolve cada uma.

  • Este arquivo tem mais de 100 MB. Divida e envie as partes.

    Compacte o log com gzip primeiro, o que reduz muito um log de texto. Se ainda for grande, divida por dia e envie cada parte.

  • Este arquivo está vazio.

    A exportação saiu sem linhas, muitas vezes porque o log foi rotacionado um instante antes. Escolha o arquivo rotacionado ou um período maior.

  • Nenhuma requisição deste arquivo pôde ser lida. Envie um log de acesso do nginx ou Apache, JSON do Cloudflare Logpush ou um CSV com uma coluna de user agent.

    O arquivo está em Common Log Format, não tem linha de cabeçalho ou não tem a coluna de user agent. Mude o servidor para o formato combined, ou exporte de novo com o user agent incluído.

  • Não foi possível ler o arquivo. Envie de novo.

    O envio foi interrompido ou o arquivo gzip está danificado. Envie de novo; se falhar duas vezes, descompacte e envie o arquivo puro.

  • O plano da marca não inclui mais crawlers de IA.

    Crawlers de IA está no Pro, Agency e Agency Plus. Faça upgrade da conta e envie o log de novo.

Todas as integrações

Perguntas frequentes

Perguntas frequentes: Logs de crawlers de IA

Ainda tem dúvidas? Fale com nossa equipe

Quais crawlers de IA o Rank Prompt conta?

20, da OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta, Amazon, Mistral e outras, entre eles GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Googlebot e Applebot. As visitas de pessoas ficam de fora.

O que significa uma visita de crawler verificada?

Que a visita veio mesmo da empresa por trás do crawler, porque o endereço dela é um dos que a empresa publica. OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Common Crawl, DuckDuckGo e Mistral publicam seus endereços. Meta, Amazon, ByteDance e Cohere não, então as visitas deles são contadas mas nunca verificadas.

O Rank Prompt guarda meus logs ou os IPs dos meus visitantes?

Não. O arquivo é apagado assim que é lido, e só ficam contagens diárias por crawler e página, por 13 meses. Os endereços IP são descartados depois da verificação, e as visitas de pessoas nunca são guardadas.

Por que vejo menos visitas de crawlers do que esperava?

Páginas servidas pelo cache de um CDN nunca chegam ao seu servidor, então o log de origem não vê essas visitas. Exporte do CDN, por exemplo com o Cloudflare Logpush, que vê cada requisição. Um log que cobre poucas horas também mostra só essas horas.

As visitas podem chegar sem enviar um log?

Sim. Conecte o Cloudflare se ele fica na frente do seu site, o Vercel se o Vercel serve o site, ou o Rank Prompt Connector num site WordPress, e as visitas chegam sozinhas. O Rank Prompt sugere a opção que combina com o seu site.

De qual plano eu preciso?

Crawlers de IA está no Pro, Agency e Agency Plus, e ler logs não gasta créditos.

Funcionando em poucos minutos

Crie uma conta grátis, siga os passos acima e veja o que a conexão soma à sua visibilidade em IA.

Comece grátis Ver preços