Sieh, welche KI-Bots deine Website besuchen
Ein KI-Assistent kann nur eine Seite zitieren, die sein Crawler lesen konnte. Verbinde Cloudflare, Vercel oder WordPress oder lade ein Access-Log von deinem Server oder CDN hoch und sieh, welche der 20 KI-Crawler vorbeikommen, welche Besuche echt sind und an welchen Seiten sie scheitern.
Was es macht
- Wisse, wer deine Website liest: Besuche von 20 KI-Crawlern, darunter GPTBot, ClaudeBot und PerplexityBot, jeder mit seinem Zweck: Training, Suchindex, Nutzeranfrage oder Anzeigen.
- Unterscheide echte Crawler von Nachahmern: Ein Besuch ist nur dann verifiziert, wenn er von den Adressen kommt, die das Unternehmen des Crawlers selbst veröffentlicht.
- Finde die Seiten, die KI-Crawlern mit 404 oder einem Serverfehler antworten, also die Seiten, die erst nach der Korrektur zitiert werden können.
- Sieh, welche Seiten jeder Crawler liest und wie sich seine Aktivität Tag für Tag entwickelt.
- Frag den Agent-Modus oder deinen MCP-Client, was die Crawler in den letzten 30 Tagen gemacht haben.
Was sie nicht kann
- Die Ergebnisse decken die Logs ab, die du hochlädst, also lade einen neuen Export hoch, wann immer du die neuesten Tage sehen willst.
- Das Common Log Format hat keinen User Agent, also lässt sich darin nichts zählen. Stell das Log auf das Combined-Format um.
- Meta, Amazon, ByteDance und Cohere veröffentlichen keine Adressbereiche für ihre Crawler, deshalb werden diese Besuche gezählt, aber nie verifiziert.
- Seiten aus dem Cache eines CDN erreichen das Log deines Ursprungsservers nie. Exportiere aus dem CDN, um auch diese Besuche zu sehen.
- Cloudflare liest beim Verbinden den letzten Monat nach und danach jede Stunde. Es zählt nur, was durch Cloudflare läuft: Ein Host mit einem Eintrag auf Nur DNS (graue Wolke) zeigt keine Aufrufe, und Rank Prompt sagt dir, wenn das passiert.
Bevor du startest
Tarif Ab Pro
- Für Cloudflare: die Zone deiner Website in einem Cloudflare-Konto, in jedem Cloudflare-Tarif, auch im kostenlosen, mit geproxytem DNS-Eintrag (orange Wolke).
- Für einen Upload: Zugriff auf die Access-Logs deines Webservers oder auf eine Cloudflare-Zone, in der du einen Logpush-Job anlegen kannst.
- Ein Log von nginx oder Apache im Format
combined, ein Export aus Cloudflare Logpush oder ein JSON-Lines- oder CSV-Export, der den User Agent enthält. - Eine Datei bis 100 MB, unkomprimiert oder mit gzip (
.gz). Ein größeres Log teilst du auf und lädst die Teile hoch.
KI-Crawler-Logs: Einrichtung in 9 Schritten
-
Schritt 1
Finde dein Access-Log
Bei nginx liegt es meist unter
/var/log/nginx/access.log, bei Apache unter/var/log/apache2/access.logauf Debian und Ubuntu oder/var/log/httpd/access_logauf Red Hat. Ältere Tage liegen daneben, rotiert und mit gzip komprimiert; lade sie so hoch, wie sie sind. Bei Managed Hosting suchst du im Control Panel nach Access logs oder Raw logs. -
Schritt 2
Prüf das Format bei nginx
Das Standardformat
combinedenthält den User Agent schon. Nennt die Zeileaccess_logein eigeneslog_format, prüf, dass es$remote_addr,$time_local,"$request",$statusund"$http_user_agent"in der Combined-Reihenfolge behält, oder stell es zurück aufcombined. -
Schritt 3
Prüf das Format bei Apache
Logge mit
CustomLogund dem Kürzelcombined, nichtcommon: Das Common-Format hat keinen User Agent. Combined ist%h %l %u %t "%r" %>s %b "%{Referer}i" "%{User-agent}i". -
Schritt 4
Oder Logs aus Cloudflare pushen
Öffne im Cloudflare-Dashboard die Seite Logpush deiner Domain und wähl Create a Logpush job. Schick ihn an ein Ziel, von dem du herunterladen kannst, etwa einen R2-Bucket, wähl das Dataset HTTP requests und sende mindestens
EdgeStartTimestamp,ClientRequestHost,ClientRequestURI,EdgeResponseStatus,ClientRequestUserAgentundClientIP. Warte einen Tag, lade die Dateien herunter und lade sie so hoch, wie sie sind. -
Schritt 5
Oder eine CSV exportieren
Jedes Tool, das Anfragen exportiert, funktioniert, vom Hosting-Panel bis zum Log-Analyzer, solange die Datei JSON Lines oder eine CSV mit Kopfzeile ist. Benenne die Spalten
timestampodertime,pathoderurl,status,user_agentsowieipundhost, wenn du sie hast. Komma, Semikolon und Tab gehen alle. -
Schritt 6
Oder Cloudflare mit einem Token verbinden, das nur lesen kann
Sitzt Cloudflare vor deiner Website, sparst du dir die Uploads. Wähle unter KI-Crawler Cloudflare verbinden; die Domain ist schon mit der Website deiner Marke ausgefüllt. Öffne in Cloudflare My Profile, dann API Tokens, wähle Create Token und starte mit Create Custom Token. Füge zwei Berechtigungen hinzu, Zone, Zone, Read und Zone, Analytics, Read, nimm unter Zone Resources die Zone deiner Website auf, füge das Token ein und wähle Verbinden. Rank Prompt liest sofort den letzten Monat und danach jede Stunde. Liefert die Zone auch Hosts wie
app.odershop.aus, hakst du die an, die zu deiner Website gehören. -
Schritt 7
Oder Vercel oder WordPress verbinden
Unter KI-Crawler sieht Rank Prompt nach, wie deine Website ausgeliefert wird, und bietet zuerst die passende Quelle an. Vercel bekommt einen Log Drain auf deinem Projekt, der jeden Aufruf sofort sendet; Drains brauchen ein Pro- oder Enterprise-Team bei Vercel, das ihr Volumen berechnet. WordPress sendet die Aufrufe alle fünf Minuten über das Plugin Rank Prompt Connector.
-
Schritt 8
Lade es in Rank Prompt hoch
Öffne Explorer > Suche > KI-Crawler und wähl Log hochladen. Sobald unter Hochgeladene Logs Gelesen steht, füllen sich die Kacheln, das Diagramm und beide Tabellen.
-
Schritt 9
Lies die Ergebnisse
Fang mit der Fehlerquote und der Seitentabelle an: Eine Seite, die OAI-SearchBot oder PerplexityBot mit 404 oder 500 antwortet, kann nicht gelesen und erst recht nicht zitiert werden. Filtere die Seiten nach Crawler, um zu sehen, was jeder liest, und behalte den verifizierten Anteil im Blick: Nicht verifizierte Aufrufe können von jemandem stammen, der den Namen des Crawlers benutzt.
KI-Crawler-Logs: Fehler und Lösungen
Das sind die Meldungen, die die App zeigt, Wort für Wort, und was jeweils hilft.
-
Diese Datei ist größer als 100 MB. Teile sie auf und lade die Teile hoch.
Komprimier das Log zuerst mit gzip, das macht ein Text-Log um ein Vielfaches kleiner. Ist es dann noch zu groß, teil es nach Tagen auf und lade jeden Teil hoch.
-
Diese Datei ist leer.
Der Export enthält keine Zeilen, oft weil das Log kurz vorher rotiert wurde. Nimm die rotierte Datei oder einen längeren Zeitraum.
-
Keine Anfrage in dieser Datei war lesbar. Lade ein nginx- oder Apache-Access-Log, Cloudflare-Logpush-JSON oder eine CSV mit einer User-Agent-Spalte hoch.
Die Datei ist im Common Log Format, hat keine Kopfzeile oder keine User-Agent-Spalte. Stell den Server auf das Combined-Format um oder exportiere erneut mit User Agent.
-
Die Datei konnte nicht gelesen werden. Lade sie erneut hoch.
Der Upload ist abgebrochen oder die gzip-Datei ist beschädigt. Lade sie erneut hoch; schlägt es zweimal fehl, entpack sie und lade die unkomprimierte Datei hoch.
-
Cloudflare hat das Token abgelehnt. Verbinde erneut mit einem neuen Token.
Das Token wurde gelöscht, ist abgelaufen oder hat eine Berechtigung verloren. Erstelle ein neues mit Zone, Zone, Read und Zone, Analytics, Read und wähle an der Quelle Cloudflare erneut verbinden.
-
Das Token kann diese Domain nicht lesen. Verbinde erneut mit einem Token für diese Website.
Die Zone Resources des Tokens lassen die Zone deiner Website aus, oder die Domain ist nicht die, die in Cloudflare hinzugefügt ist. Erstelle ein Token, das diese Zone enthält, und verbinde erneut.
-
Der Tarif der Marke enthält die KI-Crawler nicht mehr.
KI-Crawler gibt es in Pro, Agency und Agency Plus. Wechsle in einen höheren Tarif und lade das Log erneut hoch.
Häufige Fragen: KI-Crawler-Logs
Noch Fragen? Schreib unserem Team
Welche KI-Crawler zählt Rank Prompt?
20, von OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta, Amazon, Mistral und weiteren, darunter GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Googlebot und Applebot. Besuche von Menschen bleiben außen vor.
Was bedeutet ein verifizierter Crawler-Besuch?
Dass der Besuch wirklich vom Unternehmen hinter dem Crawler kam, weil seine Adresse eine ist, die das Unternehmen veröffentlicht. OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Common Crawl, DuckDuckGo und Mistral veröffentlichen ihre Adressen. Meta, Amazon, ByteDance und Cohere nicht, deshalb werden deren Besuche gezählt, aber nie verifiziert.
Speichert Rank Prompt meine Logs oder die IP-Adressen meiner Besucher?
Nein. Die Datei wird gelöscht, sobald sie gelesen ist, und gespeichert werden nur tägliche Zählungen pro Crawler und Seite, 13 Monate lang. IP-Adressen werden nach der Prüfung verworfen, und Besuche von Menschen werden nie gespeichert.
Warum sehe ich weniger Crawler-Besuche als erwartet?
Seiten aus dem Cache eines CDN erreichen deinen Server nie, also fehlen diese Besuche im Log des Ursprungsservers. Exportiere stattdessen aus dem CDN, zum Beispiel mit Cloudflare Logpush, das jede Anfrage sieht. Ein Log über ein paar Stunden zeigt auch nur diese Stunden.
Kommen Aufrufe auch ohne Log-Upload an?
Ja. Verbinde Cloudflare, wenn es vor deiner Website sitzt, Vercel, wenn Vercel sie ausliefert, oder den Rank Prompt Connector auf einer WordPress-Website, und die Aufrufe kommen von selbst an. Rank Prompt schlägt die Quelle vor, die zu deiner Website passt. Ein Blog, den Rank Prompt für dich hostet, meldet seine Crawler-Aufrufe von selbst, sobald er live ist, ohne dass du etwas verbinden musst.
Ist es sicher, Rank Prompt ein Cloudflare-Token zu geben?
Das Token kann nur deine Zone und ihre Analysen lesen, also weder eine Einstellung noch einen DNS-Eintrag ändern. Rank Prompt speichert es verschlüsselt, liest nur die Hosts deiner Website und verwirft die IP-Adressen der Besucher nach der Prüfung. Lösch das Token in Cloudflare, wann immer das Lesen aufhören soll.
Welchen Tarif brauche ich?
KI-Crawler gibt es in Pro, Agency und Agency Plus, und das Lesen von Logs kostet keine Credits. Die Aufrufe eines Blogs, den Rank Prompt hostet, zählen schon ab Starter, dem Tarif mit gehostetem Blog.
In wenigen Minuten startklar
Erstelle ein kostenloses Konto, folge den Schritten oben und sieh, was die Verbindung deiner KI-Sichtbarkeit bringt.