Integrationsanleitung

Sieh, welche KI-Bots deine Website besuchen

Ein KI-Assistent kann nur eine Seite zitieren, die sein Crawler lesen konnte. Lade ein Access-Log von deinem Server oder CDN hoch und sieh, welche der 20 KI-Crawler vorbeikommen, welche Besuche echt sind und an welchen Seiten sie scheitern.

Kostenlos starten Funktion ansehen

Was es macht

  • Wisse, wer deine Website liest: Besuche von 20 KI-Crawlern, darunter GPTBot, ClaudeBot und PerplexityBot, jeder mit seinem Zweck: Training, Suchindex, Nutzeranfrage oder Anzeigen.
  • Unterscheide echte Crawler von Nachahmern: Ein Besuch ist nur dann verifiziert, wenn er von den Adressen kommt, die das Unternehmen des Crawlers selbst veröffentlicht.
  • Finde die Seiten, die KI-Crawlern mit 404 oder einem Serverfehler antworten, also die Seiten, die erst nach der Korrektur zitiert werden können.
  • Sieh, welche Seiten jeder Crawler liest und wie sich seine Aktivität Tag für Tag entwickelt.
  • Frag den Agent-Modus oder deinen MCP-Client, was die Crawler in den letzten 30 Tagen gemacht haben.

Was sie nicht kann

  • Die Ergebnisse decken die Logs ab, die du hochlädst, also lade einen neuen Export hoch, wann immer du die neuesten Tage sehen willst.
  • Das Common Log Format hat keinen User Agent, also lässt sich darin nichts zählen. Stell das Log auf das Combined-Format um.
  • Meta, Amazon, ByteDance und Cohere veröffentlichen keine Adressbereiche für ihre Crawler, deshalb werden diese Besuche gezählt, aber nie verifiziert.
  • Seiten aus dem Cache eines CDN erreichen das Log deines Ursprungsservers nie. Exportiere aus dem CDN, um auch diese Besuche zu sehen.

Bevor du startest

Tarif Ab Pro

  • Zugriff auf die Access-Logs deines Webservers oder auf eine Cloudflare-Zone, in der du einen Logpush-Job anlegen kannst.
  • Ein Log von nginx oder Apache im Format combined, ein Export aus Cloudflare Logpush oder ein JSON-Lines- oder CSV-Export, der den User Agent enthält.
  • Eine Datei bis 100 MB, unkomprimiert oder mit gzip (.gz). Ein größeres Log teilst du auf und lädst die Teile hoch.
Einrichtung

KI-Crawler-Logs: Einrichtung in 8 Schritten

  1. Schritt 1

    Finde dein Access-Log

    Bei nginx liegt es meist unter /var/log/nginx/access.log, bei Apache unter /var/log/apache2/access.log auf Debian und Ubuntu oder /var/log/httpd/access_log auf Red Hat. Ältere Tage liegen daneben, rotiert und mit gzip komprimiert; lade sie so hoch, wie sie sind. Bei Managed Hosting suchst du im Control Panel nach Access logs oder Raw logs.

  2. Schritt 2

    Prüf das Format bei nginx

    Das Standardformat combined enthält den User Agent schon. Nennt die Zeile access_log ein eigenes log_format, prüf, dass es $remote_addr, $time_local, "$request", $status und "$http_user_agent" in der Combined-Reihenfolge behält, oder stell es zurück auf combined.

  3. Schritt 3

    Prüf das Format bei Apache

    Logge mit CustomLog und dem Kürzel combined, nicht common: Das Common-Format hat keinen User Agent. Combined ist %h %l %u %t "%r" %>s %b "%{Referer}i" "%{User-agent}i".

  4. Schritt 4

    Oder Logs aus Cloudflare pushen

    Öffne im Cloudflare-Dashboard die Seite Logpush deiner Domain und wähl Create a Logpush job. Schick ihn an ein Ziel, von dem du herunterladen kannst, etwa einen R2-Bucket, wähl das Dataset HTTP requests und sende mindestens EdgeStartTimestamp, ClientRequestHost, ClientRequestURI, EdgeResponseStatus, ClientRequestUserAgent und ClientIP. Warte einen Tag, lade die Dateien herunter und lade sie so hoch, wie sie sind.

  5. Schritt 5

    Oder eine CSV exportieren

    Jedes Tool, das Anfragen exportiert, funktioniert, vom Hosting-Panel bis zum Log-Analyzer, solange die Datei JSON Lines oder eine CSV mit Kopfzeile ist. Benenne die Spalten timestamp oder time, path oder url, status, user_agent sowie ip und host, wenn du sie hast. Komma, Semikolon und Tab gehen alle.

  6. Schritt 6

    Oder Cloudflare, Vercel oder WordPress verbinden

    Spar dir die Uploads: Unter KI-Crawler sieht Rank Prompt nach, wie deine Website ausgeliefert wird, und bietet zuerst die passende Quelle an. Cloudflare liest jeden Aufruf stündlich mit einem Token, das nur lesen kann. Vercel bekommt einen Log Drain auf deinem Projekt, der jeden Aufruf sofort sendet; Drains brauchen ein Pro- oder Enterprise-Team bei Vercel, das ihr Volumen berechnet. WordPress sendet die Aufrufe alle fünf Minuten über das Plugin Rank Prompt Connector.

  7. Schritt 7

    Lade es in Rank Prompt hoch

    Öffne Explorer, Suche, KI-Crawler und wähl Log hochladen. Sobald unter Hochgeladene Logs Gelesen steht, füllen sich die Kacheln, das Diagramm und beide Tabellen.

  8. Schritt 8

    Lies die Ergebnisse

    Fang mit der Fehlerquote und der Seitentabelle an: Eine Seite, die OAI-SearchBot oder PerplexityBot mit 404 oder 500 antwortet, kann nicht gelesen und erst recht nicht zitiert werden. Filtere die Seiten nach Crawler, um zu sehen, was jeder liest, und behalte den verifizierten Anteil im Blick: Nicht verifizierte Aufrufe können von jemandem stammen, der den Namen des Crawlers benutzt.

Fehlerbehebung

KI-Crawler-Logs: Fehler und Lösungen

Das sind die Meldungen, die die App zeigt, Wort für Wort, und was jeweils hilft.

  • Diese Datei ist größer als 100 MB. Teile sie auf und lade die Teile hoch.

    Komprimier das Log zuerst mit gzip, das macht ein Text-Log um ein Vielfaches kleiner. Ist es dann noch zu groß, teil es nach Tagen auf und lade jeden Teil hoch.

  • Diese Datei ist leer.

    Der Export enthält keine Zeilen, oft weil das Log kurz vorher rotiert wurde. Nimm die rotierte Datei oder einen längeren Zeitraum.

  • Keine Anfrage in dieser Datei war lesbar. Lade ein nginx- oder Apache-Access-Log, Cloudflare-Logpush-JSON oder eine CSV mit einer User-Agent-Spalte hoch.

    Die Datei ist im Common Log Format, hat keine Kopfzeile oder keine User-Agent-Spalte. Stell den Server auf das Combined-Format um oder exportiere erneut mit User Agent.

  • Die Datei konnte nicht gelesen werden. Lade sie erneut hoch.

    Der Upload ist abgebrochen oder die gzip-Datei ist beschädigt. Lade sie erneut hoch; schlägt es zweimal fehl, entpack sie und lade die unkomprimierte Datei hoch.

  • Der Plan der Marke enthält keine KI-Crawler mehr.

    KI-Crawler gibt es in Pro, Agency und Agency Plus. Führ ein Upgrade des Kontos durch und lade das Log erneut hoch.

Alle Integrationen

FAQ

Häufige Fragen: KI-Crawler-Logs

Noch Fragen? Schreib unserem Team

Welche KI-Crawler zählt Rank Prompt?

20, von OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta, Amazon, Mistral und weiteren, darunter GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Googlebot und Applebot. Besuche von Menschen bleiben außen vor.

Was bedeutet ein verifizierter Crawler-Besuch?

Dass der Besuch wirklich vom Unternehmen hinter dem Crawler kam, weil seine Adresse eine ist, die das Unternehmen veröffentlicht. OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Common Crawl, DuckDuckGo und Mistral veröffentlichen ihre Adressen. Meta, Amazon, ByteDance und Cohere nicht, deshalb werden deren Besuche gezählt, aber nie verifiziert.

Speichert Rank Prompt meine Logs oder die IP-Adressen meiner Besucher?

Nein. Die Datei wird gelöscht, sobald sie gelesen ist, und gespeichert werden nur tägliche Zählungen pro Crawler und Seite, 13 Monate lang. IP-Adressen werden nach der Prüfung verworfen, und Besuche von Menschen werden nie gespeichert.

Warum sehe ich weniger Crawler-Besuche als erwartet?

Seiten aus dem Cache eines CDN erreichen deinen Server nie, also fehlen diese Besuche im Log des Ursprungsservers. Exportiere stattdessen aus dem CDN, zum Beispiel mit Cloudflare Logpush, das jede Anfrage sieht. Ein Log über ein paar Stunden zeigt auch nur diese Stunden.

Kommen Aufrufe auch ohne Log-Upload an?

Ja. Verbinde Cloudflare, wenn es vor deiner Website sitzt, Vercel, wenn Vercel sie ausliefert, oder den Rank Prompt Connector auf einer WordPress-Website, und die Aufrufe kommen von selbst an. Rank Prompt schlägt die Quelle vor, die zu deiner Website passt.

Welchen Plan brauche ich?

KI-Crawler gibt es in Pro, Agency und Agency Plus, und das Lesen von Logs kostet keine Credits.

In wenigen Minuten startklar

Erstelle ein kostenloses Konto, folge den Schritten oben und sieh, was die Verbindung deiner KI-Sichtbarkeit bringt.

Kostenlos starten Preise ansehen