Guide d’intégration

Voyez quels bots IA visitent votre site

Un assistant IA ne peut citer qu’une page que son robot a pu lire. Importez un log d’accès de votre serveur ou de votre CDN et voyez lesquels des 20 robots d’IA passent, quelles visites sont authentiques et quelles pages les mettent en échec.

Commencer gratuitement Découvrir la fonctionnalité

Ce que ça fait

  • Sachez qui lit votre site : les visites de 20 robots d’IA, dont GPTBot, ClaudeBot et PerplexityBot, chacune classée selon sa raison : entraînement, index de recherche, requête d’un utilisateur ou publicité.
  • Distinguez les vrais robots des imposteurs : une visite n’est vérifiée que si elle vient des adresses publiées par l’entreprise du robot.
  • Trouvez les pages qui répondent aux robots d’IA par une 404 ou une erreur serveur, celles qui ne peuvent pas être citées tant qu’elles ne sont pas corrigées.
  • Voyez quelles pages chaque robot lit, et comment son activité évolue jour après jour.
  • Demandez à l’Agent Mode ou à votre client MCP ce que les robots ont fait ces 30 derniers jours.

Ce qu’elle ne fait pas

  • Les résultats couvrent les logs que vous importez : importez un export récent chaque fois que vous voulez voir les derniers jours.
  • Le Common Log Format n’a pas de user agent, donc rien ne peut y être compté. Passez le log au format combined.
  • Meta, Amazon, ByteDance et Cohere ne publient aucune plage d’adresses pour leurs robots : ces visites sont comptées mais jamais vérifiées.
  • Les pages servies par le cache d’un CDN n’arrivent jamais dans le log de votre serveur d’origine. Exportez depuis le CDN pour voir aussi ces visites.

Avant de commencer

Forfait Dès Pro

  • Un accès aux logs d’accès de votre serveur web, ou à une zone Cloudflare où vous pouvez créer une tâche Logpush.
  • Un log nginx ou Apache au format combined, un export Cloudflare Logpush, ou un export JSON lines ou CSV qui inclut le user agent.
  • Un fichier de 100 Mo maximum, brut ou compressé (.gz). Découpez un log plus gros et importez les parties.
Configuration

Logs des robots d’IA : configuration en 8 étapes

  1. Étape 1

    Trouvez votre log d’accès

    Sur nginx, il se trouve en général dans /var/log/nginx/access.log ; sur Apache, dans /var/log/apache2/access.log sous Debian et Ubuntu ou /var/log/httpd/access_log sous Red Hat. Les jours précédents sont à côté, archivés et compressés ; importez-les tels quels. Chez un hébergeur géré, cherchez Access logs ou Raw logs dans le panneau de contrôle.

  2. Étape 2

    Vérifiez le format sur nginx

    Le format combined par défaut contient déjà le user agent. Si la ligne access_log utilise un log_format personnalisé, vérifiez qu’il garde $remote_addr, $time_local, "$request", $status et "$http_user_agent" dans l’ordre de combined, ou revenez à combined.

  3. Étape 3

    Vérifiez le format sur Apache

    Journalisez avec CustomLog et le nom combined, pas common : le format common n’a pas de user agent. Combined s’écrit %h %l %u %t "%r" %>s %b "%{Referer}i" "%{User-agent}i".

  4. Étape 4

    Ou envoyez les logs depuis Cloudflare

    Dans le tableau de bord Cloudflare, ouvrez la page Logpush de votre domaine et choisissez Create a Logpush job. Envoyez-la vers une destination d’où vous pouvez télécharger, comme un bucket R2, choisissez le dataset HTTP requests et envoyez au moins EdgeStartTimestamp, ClientRequestHost, ClientRequestURI, EdgeResponseStatus, ClientRequestUserAgent et ClientIP. Attendez un jour, téléchargez les fichiers et importez-les tels quels.

  5. Étape 5

    Ou exportez un CSV

    Tout outil qui exporte des requêtes convient, du panneau de l’hébergeur à un analyseur de logs, tant que le fichier est en JSON lines ou en CSV avec une ligne d’en-tête. Nommez les colonnes timestamp ou time, path ou url, status, user_agent, et ip et host si vous les avez. Virgules, points-virgules et tabulations fonctionnent.

  6. Étape 6

    Ou connectez Cloudflare, Vercel ou WordPress

    Plus besoin d’importer : dans Robots d’IA, Rank Prompt regarde comment votre site est servi et propose d’abord la source adaptée. Cloudflare lit chaque visite avec un token en lecture seule, toutes les heures. Vercel reçoit un log drain sur votre projet qui envoie chaque visite en direct ; les drains demandent une équipe Pro ou Enterprise sur Vercel, qui facture leur volume. WordPress envoie les visites toutes les cinq minutes avec le plugin Rank Prompt Connector.

  7. Étape 7

    Importez-le dans Rank Prompt

    Ouvrez Explorateur, Recherche, Crawlers IA et choisissez Importer un log. Dès que le fichier affiche Lu dans Logs importés, les indicateurs, le graphique et les deux tableaux se remplissent.

  8. Étape 8

    Lisez les résultats

    Commencez par le taux d’erreur et le tableau des pages : une page qui répond 404 ou 500 à OAI-SearchBot ou PerplexityBot ne peut pas être lue, encore moins citée. Filtrez les pages par robot pour voir ce que chacun lit, et surveillez la part vérifiée : les visites non vérifiées peuvent venir de quelqu’un qui emprunte le nom du robot.

Dépannage

Logs des robots d’IA : erreurs et solutions

Voici les messages que l’app affiche, mot pour mot, et ce qui résout chacun d’eux.

  • Ce fichier dépasse 100 Mo. Découpez-le et importez les parties.

    Compressez d’abord le log en gzip, ce qui réduit fortement un log texte. S’il reste trop gros, découpez-le par jour et importez chaque partie.

  • Ce fichier est vide.

    L’export est sorti sans aucune ligne, souvent un log qui venait d’être archivé. Prenez le fichier archivé ou une période plus longue.

  • Aucune requête de ce fichier n'a pu être lue. Importez un log d'accès nginx ou Apache, du JSON Cloudflare Logpush ou un CSV avec une colonne user agent.

    Le fichier est au Common Log Format, n’a pas de ligne d’en-tête ou n’a pas de colonne user agent. Passez le serveur au format combined, ou exportez à nouveau en incluant le user agent.

  • Le fichier n'a pas pu être lu. Importez-le à nouveau.

    L’import s’est interrompu ou le fichier gzip est endommagé. Importez-le à nouveau ; s’il échoue deux fois, décompressez-le et importez le fichier brut.

  • L'offre de la marque n'inclut plus les robots d'IA.

    Les robots d’IA sont inclus dans Pro, Agency et Agency Plus. Passez le compte à une offre supérieure et importez à nouveau le log.

Toutes les intégrations

FAQ

Questions fréquentes : Logs des robots d’IA

Encore des questions ? Contactez notre équipe

Quels robots d’IA Rank Prompt compte-t-il ?

20 au total, d’OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta, Amazon, Mistral et d’autres, dont GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Googlebot et Applebot. Les visites de personnes sont exclues.

Que signifie une visite de robot vérifiée ?

Que la visite vient bien de l’entreprise derrière le robot, parce que son adresse fait partie de celles que l’entreprise publie. OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Common Crawl, DuckDuckGo et Mistral publient leurs adresses. Meta, Amazon, ByteDance et Cohere ne le font pas : leurs visites sont comptées mais jamais vérifiées.

Rank Prompt conserve-t-il mes logs ou les adresses IP de mes visiteurs ?

Non. Le fichier est supprimé une fois lu, et seuls des comptages quotidiens par robot et par page sont conservés, pendant 13 mois. Les adresses IP sont abandonnées après la vérification, et les visites de personnes ne sont jamais enregistrées.

Pourquoi vois-je moins de visites de robots que prévu ?

Les pages servies par le cache d’un CDN n’arrivent jamais à votre serveur, donc le log d’origine manque ces visites. Exportez plutôt depuis le CDN, par exemple avec Cloudflare Logpush, qui voit chaque requête. Un log qui couvre quelques heures ne montre aussi que quelques heures.

Les visites peuvent-elles arriver sans importer de log ?

Oui. Connectez Cloudflare s’il est devant votre site, Vercel si Vercel le sert, ou le Rank Prompt Connector sur un site WordPress, et les visites arrivent d’elles-mêmes. Rank Prompt suggère la méthode adaptée à votre site.

Quelle offre faut-il ?

Les robots d’IA sont inclus dans Pro, Agency et Agency Plus, et la lecture des logs ne coûte aucun crédit.

Opérationnel en quelques minutes

Créez un compte gratuit, suivez les étapes ci-dessus et voyez ce que la connexion apporte à votre visibilité IA.

Commencer gratuitement Voir les tarifs