Wie oft crawlen KI-Bots meine Inhalte?
Man hört oft, dass KI-Crawler Texte "abziehen", aber ich habe nie gezählt, wie oft diese Bots tatsächlich auf einzelne Beiträge und die Inhaltsübersichten zugreifen. Deshalb habe ich die Apache-Protokolle der letzten 29 Tage durchsucht und die Zugriffe nach Bot-Namen getrennt für Beitragsadressen und Sitemap-Adressen gezählt. Die Beiträge wurden 674 Mal erfasst, die Inhaltsübersichten 653 Mal. Das ist fast gleich. Von diesen 653 Mal waren 419 nicht Beitragslisten, sondern Listen von Listen. Auch die Bots hatten unterschiedliche Verhaltensmuster. Googlebot hat in diesen 29 Tagen nur fünfundzwanzig Beiträge gesehen, aber jeden dreimal, während GPTBot achundsiebzig Beiträge nur ungefähr einmal aufgerufen hat.
Zuerst habe ich mich geirrt, als ich dachte, es sei unser Inhalt
Dieser Server hostet die Protokolle mehrerer Websites. Da es keine Angabe gibt, auf welche Domain die Anfrage gerichtet war, musste ich dies anhand der Struktur der Anfrage-Pfade herausfinden. Anfänglich habe ich versucht, auch die Beitragslisten-URLs unter /blog/ zu zählen.
Es ergab, dass Googlebot /blog/ dreizehnundvierzig Mal aufgerufen hat. Allerdings ist dieser /blog/ auf diesem Blog erst heute erstellt worden. Er hätte also nicht seit 29 Tagen dort sein können. Es stellte sich heraus, dass es auf einem anderen Blog auf demselben Server ebenfalls einen /blog/ gab. Wenn sich Pfade überschneiden, können wir sie nicht als eindeutig identifizieren.
Deshalb habe ich den Suchbereich eingegrenzt. Ich zählte nur die Beitragsadressen, die eine numerische ID besitzen und die in der tatsächlichen Beitragsliste beider Blogs vorkommen. Die Sitemap ist anders. Da dieser Multi-Site-Setup der einzige ist, der auf diesem Server WordPress betreibt, zählen wir alle Anfragen, die mit /wp-sitemap beginnen, als unsere eigenen.
# Sammelt die Beitrags-IDs beider Blogs (öffentlich + privat)
wp post list --post_type=post --post_status=publish,private --field=ID | sort -un > ourids.txt
# Zählt nur die Adressen, die in dieser Liste vorkommen, und die Sitemaps
awk -v IDF=ourids.txt '
BEGIN { FS="""; while ((getline id < IDF) > 0) OK[id]=1 }
{ split($2,r," "); p=r[2]; split($3,s," "); sub(/?.*/,"",p)
if (match(p,/^/[0-9]+/$/)) num = substr(p,2,length(p)-2); else num=""
... }' access_log-2026110?Wie oft wurden Inhaltsübersicht und Haupttext gelesen?
Der Zeitraum umfasst den 11. Oktober 2026 bis zum frühen Morgen des 9. November. Ich habe die vier wöchentlich archivierten Protokolle mit dem aktuellen Protokoll zusammengeführt.
| Bot | Anfragen an Artikel | Einzigartige Artikel | Durchschnitt pro Artikel | Sitemap | Fehlende Nummern | llms.txt |
|---|---|---|---|---|---|---|
| bingbot | 162 | 55 | 2,95 | 248 | 7 | 0 |
| ClaudeBot | 148 | 70 | 2,11 | 318 | 0 | 0 |
| Applebot | 120 | 63 | 1,90 | 7 | 11 | 0 |
| GPTBot | 118 | 81 | 1,46 | 60 | 0 | 0 |
| Googlebot | 83 | 25 | 3,32 | 5 | 0 | 0 |
| Reflectionbot | 32 | 27 | 1,19 | 0 | 0 | 0 |
| Rest 6 Arten | 11 | 11 | 1,00 | 15 | 0 | 0 |
| Gesamt | 674 | 96 | – | 653 | 18 | 0 |
Die restlichen sechs Bots sind Amazonbot, Bytespider, CCBot, ChatGPT-User, OAI-SearchBot und PerplexityBot. Insgesamt haben diese zwölf Bots über 29 Tage hinweg 674 Artikel und 653 Sitemaps angefragt. Die Hälfte der Aktivitäten dieser Bots auf dieser Seite bestand darin, die Inhaltsübersicht zu lesen.
419 der 653 Sitemaps waren Listen von Listen
Die Sitemaps, die WordPress generiert, sind nicht nur eine einzelne Datei. Die Datei /wp-sitemap.xml enthält keine direkten Artikeladressen, sondern nur Links zu fünf Unter-Sitemaps. Die Datei, die die tatsächlichen Artikeladressen auflistet, ist /wp-sitemap-posts-post-1.xml.
| Datei | Anfragen | Inhalt |
|---|---|---|
/wp-sitemap.xml |
419 | Links zu 5 Unter-Sitemaps |
…taxonomies-category-1.xml |
59 | Kategorien-Adressen |
…users-1.xml |
47 | Autoren-Adressen |
…posts-post-1.xml |
47 | Beiträge/Artikel-Adressen |
…post_tag-1.xml |
42 | Tag-Adressen |
…posts-page-1.xml |
39 | Statische Seiten-Adressen |
Während ich die Inhaltsübersicht 653 Mal durchsuchte, bin ich nur 47 Mal auf die eigentliche Artikelliste gegangen. Das bedeutet, der Rest hat sich nur am Eingang umgeschaut, um zu prüfen, ob sich etwas geändert hat, und ist dann wieder gegangen. Da die oberste Sitemap die Aktualisierungszeit der Unterdateien enthält, kann man den Änderungsstatus allein dadurch erfassen. Ich wiederhole also die kostengünstigste Überprüfung.
Bots, die breit suchen, und Bots, die tief graben
Wenn man die Zahlen ins Verhältnis zur Anzahl der Artikel setzt, wird die Art des Bots deutlich.
Googlebot hat nur fünfundzwanzig Artikel gesehen und diese mehrmals abgerufen
Über einen Zeitraum von 29 Tagen hat Googlebot insgesamt 83 Artikel angefragt, dabei handelt es sich nur um fünfundzwanzig verschiedene Artikel. Das entspricht etwa einem Viertel aller hundert möglichen Adressen. Die restlichen Artikel wurden nie geöffnet. Stattdessen hat er die bereits gesehenen Artikel im Durchschnitt 3,32 Mal erneut abgerufen. Die Sitemap wurde in diesen 29 Tagen nur fünf Mal gelesen. Es scheint, als würde er sich auf eine kleine Auswahl an Artikeln beschränken, ohne die Inhaltsübersicht groß zu beachten.
GPTBot hat jede der einundachtzig Artikel einmal angefragt
Der Gegenpol ist GPTBot. Bei 118 Artikelfragen wurden einundachtzig verschiedene Artikel angefragt, was einem Durchschnitt von 1,46 Anfragen pro Artikel entspricht. Er hat die breiteste Abdeckung unter allen Bots erreicht. Die Sitemap wurde sechzig Mal gelesen. ClaudeBot liegt dazwischen, wobei die Sitemaps auffällig häufiger sind als die Artikelanfragen. Es gab 318 Sitemap-Anfragen im Vergleich zu 148 Artikelfragen. Das entspricht ungefähr zwei Durchläufen der Inhaltsübersicht pro einmaligem Artikelabruf.
Applebot hat die Sitemap nur sieben Mal gelesen, aber 120 Artikel angefragt. Dieser Bot greift direkt auf die Artikel zu, ohne die Inhaltsübersicht zu konsultieren.
Ich habe achtzehnmal nach den verschwundenen Beitragsnummern gesucht
Von den angefragten Adressen gab es achtzehn Rückmeldungen mit dem Fehlercode 404. Elfen von diesen kamen von Applebot, sieben von Bingbot. Hier sind die Nummern der Beiträge, die ich am 28. Oktober entfernt habe: Beiträge vom 28. Oktober. Beide Bots hatten diese Beiträge vor meiner Löschung bereits gesichert.
Die restlichen zehn Nummern erhielten nie einen 404-Fehler. Es gibt Bots, die zurückkommen, um die gelöschten Adressen zu überprüfen, und Bots, die nach einmaligem Abrufen nicht mehr auftauchen. Diejenigen, die zurückkehren, erfahren zuerst, dass die Adresse nicht mehr existiert.
Nur vier Beiträge blieben unberührt
Von hundert Beitragsnummern hat kein Bot vier davon erfasst. Drei davon sind privat und somit von außen nicht zugänglich, und einer wurde sieben Stunden vor dem Abschluss der Messung veröffentlicht. Alle neunundsechzig öffentlich zugänglichen Beiträge wurden von mindestens einem Bot erfasst.
Die Erfassung erfolgt vollständig. Ob die gesammelten Inhalte in Suchergebnissen oder KI-Antworten verwendet wurden, lässt sich anhand der Protokolle nicht feststellen. Die Protokolle zeigen lediglich an, dass etwas „abgerufen“ wurde. Dies gilt auch für den Fall, als wir einen Crawler zählen, der denselben Artikel dreißigundem Mal abrufbar gemacht hat: Wir stoßen an dieselbe Grenze.
Die Datei llms.txt wurde nie angefordert
Diese Webseite stellt die Datei /llms.txt bereit und verweist auf deren Lage in der robots.txt als Kommentar. Über einen Zeitraum von 29 Tagen hat kein Bot unter den zwölf erfassten Typen diese Datei angefordert. Null Mal.
Die Datei wurde insgesamt vierunddreißig Mal mit einem Statuscode 200 zurückgegeben. Davon waren dreiundzwanzig Anfragen von kommerziellen Crawlern oder von Anfragen, die sich als Browser aus gaben, und zwanzig Anfragen, die ich selbst zur Überprüfung gesendet habe. Es gab keine KI-Bots, die diese für KI-Systeme erstellte Datei gelesen hätten.
Was man nicht sagen kann
Der Bot-Name ist lediglich ein Zeichen, das in der Anfrage angegeben wurde. Da wir die veröffentlichten IP-Bereiche nicht abgeglichen haben, können hier Fälschungen enthalten sein. Die Zahl in diesem Beitrag entspricht der Anzahl der „Anfragen mit angegebenem Namen“.
Da beide Blogs denselben Zahlenraum nutzen, kann es vorkommen, dass dieselbe Nummer auf beiden Seiten existiert. Daher setzt sich die Bot-Zahl aus der Summe beider Blogs zusammen, und wir geben nicht an, welcher Blog welchen Beitrag abgerufen hat. Auch die Sitemap ist eine Zusammenfassung, da drei Domains denselben Pfad verwenden.
Der 29. Tag ist nicht ausreichend, um das Muster der Bots vollständig abzubilden. Selbst wenn Googlebot nur fünfundzwanzig Beiträge gesehen hat, bedeutet dies nicht „ein Bot, der nur fünfundzwanzig Beiträge sieht“, sondern „in diesem 29-Tage-Fenster waren es fünfundzwanzig Beiträge“.
Häufig gestellte Fragen
Darf man die Anzahl der einzigartigen Beiträge pro Woche addieren?
Anfangs habe ich das getan, aber es war falsch. Als ich die einzigartigen Beiträge pro Woche zählte und diese auf vier Wochen aufsummierte, ergab es bei GPTBot 117 Beiträge. Da es nur hundert Nummerngänge gibt, ist dieser Wert unmöglich. Wenn derselbe Beitrag in Woche zwei und Woche vier abgerufen wurde, wird er wöchentlich zweimal gezählt. Die einzigartigen Beiträge müssen also nur einmal über das gesamte Fenster gezählt werden. Deshalb habe ich die Zählung als Paar aus Bot-Name und Beitragsnummer erfasst und am Ende die Duplikate entfernt.
Ist es ein gutes Zeichen, wenn die Inhaltsübersicht oft gelesen wird?
Dies lässt sich mit dieser Messung nicht feststellen. Wenn die Inhaltsübersicht häufig gelesen wird, bedeutet das eher, dass „regelmäßig nach Aktualisierungen gesucht wird“, nicht dass „mehr Inhalte abgerufen werden“. Tatsächlich hat Applebot, der die Inhaltsübersicht nur sieben Mal las, weniger Beiträge abgerufen als ClaudeBot, der sie am häufigsten las. Googlebot, der sie nur fünf Mal las, hat die engste Auswahl getroffen. Es gibt keinen erkennbaren Zusammenhang zwischen der Anzahl der Inhaltsübersicht-Anfragen und der Anzahl der Beitragsanfragen.
Was ist mit Anfragen, bei denen kein Bot-Name angegeben wurde?
Diese wurden nicht gezählt. Dieser Beitrag behandelt nur die zwölf Typen, die einen Namen angegeben haben. Auch unter den Anfragen, die sich als Browser ausgeben, sind Bots vermischt, aber da keine Methode zur Unterscheidung existiert, wurden sie ausgeschlossen. Daher sind die hier genannten 674 und 653 die untere Grenze für diejenigen, die sich identifiziert haben.
