loading

Combien les robots lisent mes pages ?

On voit souvent dire que les robots d'IA "volent" nos articles, mais je n'avais jamais compté combien de fois ces robots accédaient à nos articles par rapport à nos pages de sommaire. J'ai donc analysé les logs Apache des 29 derniers jours pour compter séparément les adresses des articles et celles du sitemap, par nom de robot. Les articles ont été récupérés 674 fois, et le sommaire a été consulté 653 fois. C'est presque le même nombre. Et parmi ces 653 consultations, 419 concernaient des « listes de listes » plutôt que des articles réels. Les robots avaient des comportements bien distincts. Googlebot, sur ces 29 jours, n'a consulté que vingt-cinq articles, mais il les a récupérés en moyenne 3,3 fois chacun, tandis que GPTBot a visité quatre-vingt-onze articles, chacun à peine une fois.

J'ai d'abord fait l'erreur de ne pas savoir si c'était « notre contenu »

Ce serveur héberge les logs Apache de plusieurs sites. Comme il n'y a pas de champ indiquant le domaine de la requête, je devais identifier les requêtes en fonction de leur chemin. Au début, j'ai tenté de compter les requêtes vers le chemin des listes d'articles, /blog/.

Il est apparu que Googlebot avait accédé à /blog/ 134 fois. Or, ce chemin n'a été créé que ce jour sur ce blog. Il est impossible qu'il ait été visité 134 fois depuis 29 jours. Il s'agissait en fait d'un chemin utilisé par un autre site sur le même serveur. Si les chemins se chevauchent, nous ne pouvons pas les utiliser.

J'ai donc restreint mon périmètre. Je n'ai compté que les articles dont l'adresse est un numéro, et seulement si ce numéro figure dans la liste réelle des numéros des deux blogs. Le sitemap est différent. Étant donné que ce serveur héberge uniquement cette installation multi-site de WordPress, toutes les requêtes commençant par /wp-sitemap sont les nôtres.

# Récupérer la liste des IDs des articles des deux blogs (public + privé)
wp post list --post_type=post --post_status=publish,private --field=ID | sort -un > ourids.txt

# Compter uniquement les adresses qui correspondent à notre liste d'IDs et le sitemap
awk -v IDF=ourids.txt '
  BEGIN { FS="""; while ((getline id < IDF) > 0) OK[id]=1 }
  { split($2,r," "); p=r[2]; split($3,s," "); sub(/?.*/,"",p)
    if (match(p,/^/[0-9]+/$/)) num = substr(p,2,length(p)-2); else num=""
    ... }' access_log-2026110?

le nombre de lectures des tables des matières et des articles était presque le même

La période couverte s'étend du 11 octobre 2026 au 9 novembre, jusqu'au petit matin, soit 29,2 jours. J'ai consolidé les quatre journaux de bord hebdomadaires avec les journaux actuels.

bot requêtes d'articles articles uniques par article sitemap numéros manquants llms.txt
bingbot 162 55 2,95 248 7 0
ClaudeBot 148 70 2,11 318 0 0
Applebot 120 63 1,90 7 11 0
GPTBot 118 81 1,46 60 0 0
Googlebot 83 25 3,32 5 0 0
Reflectionbot 32 27 1,19 0 0 0
les 6 autres 11 11 1,00 15 0 0
Total 674 96 – 653 18 0

Les six autres sont Amazonbot, Bytespider, CCBot, ChatGPT-User, OAI-SearchBot et PerplexityBot. Au total, sur 29 jours, les douze robots ont effectué 674 requêtes d'articles et 653 lectures de sitemap. La moitié de ce que les robots ont fait sur ce site consistait à lire les tables des matières.

419 des 653 lectures concernaient des listes de listes

Le sitemap généré par WordPress n'est pas un fichier unique. Le fichier /wp-sitemap.xml ne contient pas les adresses des articles, mais uniquement des liens vers cinq sitemaps secondaires. Les fichiers qui listent réellement les adresses des articles sont /wp-sitemap-posts-post-1.xml.

Fichier Requête Contenu
/wp-sitemap.xml 419 Lien vers 5 sitemaps secondaires
…taxonomies-category-1.xml 59 Adresses des catégories
…users-1.xml 47 Adresses des auteurs
…posts-post-1.xml 47 Adresses des articles
…post_tag-1.xml 42 Adresses des étiquettes
…posts-page-1.xml 39 Adresses des pages fixes

Pendant que j'ai parcouru le plan de site 653 fois, je suis descendu jusqu'à la liste des articles seulement 47 fois. Cela signifie que le reste du temps, j'ai juste vérifié s'il y avait des nouveautés en arrivant, puis je suis reparti. Le fichier principal du sitemap contient l'heure de mise à jour des fichiers secondaires ; en lisant seulement celui-ci, on peut savoir si quelque chose a changé. C'est la méthode la moins coûteuse pour effectuer cette vérification répétée.

Les robots qui regardent largement et ceux qui creusent en profondeur

Si l'on convertit ces chiffres en nombre de fois par article, on peut distinguer la nature de chaque robot.

Googlebot a consulté seulement vingt-cinq articles, mais les a repris en moyenne 3,3 fois

Sur 29 jours, Googlebot a récupéré cent quatre-vingt-trois articles, mais il n'y a eu que vingt-cinq articles différents. C'est environ un quart des cent adresses disponibles. Le reste n'a jamais été ouvert une seule fois. En revanche, les articles qu'il a vus ont été repris en moyenne 3,32 fois. Le sitemap a été lu seulement cinq fois sur vingt-neuf jours. Il semble qu'il ne consulte presque pas le plan de site, mais qu'il se contente de répéter la vérification des quelques articles qu'il a choisis.

GPTBot a récupéré onze articles, chacun une seule fois

C'est le cas de GPTBot. Sur cent dix-huit requêtes, il a consulté onze articles différents, soit une moyenne de 1,46 fois par article. C'est celui qui a le champ de vision le plus large parmi les douze robots. Le sitemap a été lu soixante fois. ClaudeBot se situe à mi-chemin, mais il y a une particularité avec le sitemap. Le nombre de lectures du sitemap (318) est bien supérieur au nombre d'articles récupérés (148). Cela équivaut à avoir lu le plan de site deux fois pour chaque article qu'il a pris.

Applebot, lui, a récupéré cent vingt articles en consultant le sitemap seulement sept fois. C'est un robot qui ne regarde que les articles sans consulter le plan de site.

j'ai tapé à dix-huit reprises sur les numéros disparus

Quatorze requêtes ont renvoyé une erreur 404 parmi les adresses de numéros. Applebot en a fait onze, et Bingbot en sept. Ce sont les numéros des articles publiés le 28 octobre. Ce sont des robots qui avaient récupéré ces articles avant leur suppression.

Les dix autres n'ont jamais renvoyé d'erreur 404. Il y a une distinction entre les robots qui reviennent pour vérifier les adresses supprimées et ceux qui récupèrent une fois puis ne reviennent plus ; c'est le premier groupe qui nous signale les adresses disparues.

quatre articles sont restés sans être collectés

Sur les cent numéros, quatre n'ont été pris par aucun robot. Trois de ces articles sont privés et inaccessibles de l'extérieur, et un autre a été publié sept heures avant la fin des mesures. Sur les quatre-vingt-six articles accessibles publiquement, au moins un robot les a collectés.

La collecte est exhaustive. Nous ne pouvons pas savoir si ce qui a été collecté a été utilisé dans les résultats de recherche ou dans les réponses de l'IA via les journaux. Les logs ne nous indiquent que le fait d'avoir été « pris ». Même en comptant les robots qui ont récupéré le même article trente et un fois, nous avons rencontré la même limite. Un robot qui a récupéré le même article trente et un fois.

llms.txt était à zéro

Ce site propose un fichier /llms.txt, et son emplacement est mentionné en commentaire dans robots.txt. Pendant vingt-neuf jours, aucun robot n'a demandé ce fichier parmi les douze types de robots. Zéro requête.

Ce fichier a été servi avec un code 200 quarante-trois fois, dont vingt-trois fois par des robots commerciaux collectant des informations sur le site ou se faisant passer pour des navigateurs, et vingt fois par moi-même pour vérifier. Il n'y avait aucun robot IA parmi ceux qui ont lu le fichier créé pour les IA.

ce que l'on ne peut pas dire

Le nom des robots n'est qu'une simple inscription dans la requête. Comme nous n'avons pas vérifié les plages d'adresses IP publiques, il est possible que des faux soient mélangés. Le nombre de cet article correspond au nombre de « requêtes portant ce nom ».

Les adresses numériques peuvent apparaître dans les deux blogs car les deux sites partagent l'espace des numéros. Par conséquent, le décompte par robot représente la somme des deux blogs, et nous n'avons pas précisé quel contenu a été récupéré sur quel site. De même, la carte du site (sitemap) est une agrégation car les trois domaines utilisent le même chemin.

Le 29 est un délai trop court pour capturer le cycle des robots. Même si Googlebot n'a consulté que vingt-cinq articles, cela ne signifie pas qu'il s'agit d'un « robot qui ne voit que vingt-cinq articles », mais plutôt que « dans cette fenêtre de 29 jours, il n'a vu que vingt-cinq articles ».

questions fréquentes

ne peut-on pas additionner le nombre d'articles uniques par semaine ?

J'ai essayé cette approche au début, mais elle s'est avérée erronée. Lorsque j'ai additionné les articles uniques de chaque semaine, j'ai obtenu 117 articles pour GPTBot. Or, il n'y a que cent adresses numériques possibles, ce qui rend ce chiffre impossible. Si le même article a été récupéré lors de la semaine 2 et de la semaine 4, il est compté deux fois au niveau hebdomadaire. Le décompte unique doit donc être fait sur l'ensemble de la période. C'est pourquoi nous avons sélectionné les paires composées du nom du robot et du numéro de l'article, puis nous avons éliminé les doublons à la fin.

le fait de lire beaucoup la table des matières est-ce un bon signe ?

Cette mesure ne permet pas de le déterminer. Le fait de consulter fréquemment la table des matières signifie que l'on « vérifie souvent les mises à jour », et non que l'on « récupère plus d'articles ». En réalité, Applebot, qui a consulté la carte du site seulement sept fois, a récupéré moins d'articles que ClaudeBot, qui l'a le plus, tandis que Googlebot, qui l'a consulté cinq fois, a le moins exploré. Il n'y a pas de corrélation visible entre le nombre de requêtes pour la table des matières et le nombre de requêtes pour les articles.

qu'est-ce qui a été fait pour les requêtes sans nom de robot ?

Elles n'ont pas été comptabilisées. Cet article traite uniquement des douze types qui ont soumis un nom. Même parmi les requêtes se faisant passer pour des navigateurs, il y a des robots mélangés, mais comme il n'y a pas de moyen de les distinguer, nous les avons exclus. Par conséquent, les 674 et 653 indiqués ici représentent le minimum des requêtes ayant déclaré leur identité, et non le total général.