Frecuencia de lectura de bots en tu web
Se habla mucho de que los rastreadores de IA están "robando" contenido, pero nunca me había fijado en cuántas veces visitan las entradas y el índice. Así que, revisé los registros de Apache de los últimos 29 días y conté las direcciones de las entradas y del mapa del sitio por cada bot. En total, se llevaron 674 entradas y leyeron el índice 653 veces. ¡Casi el mismo número! De esos 653, 419 correspondían a "listas de listas", no a artículos individuales. Además, cada bot tenía su propio comportamiento. Googlebot, durante esos 29 días, solo vio veinticinco entradas, pero las visitó un promedio de 3.3 veces cada una. Por otro lado, GPTBot visitó ochenta y una entradas, pero casi solo una vez cada una.
Primero me equivoqué al intentar determinar si el contenido era "nuestro"
Este servidor aloja varios sitios web que escriben en un único archivo de registro de Apache. Como el registro no especifica a qué dominio se dirigió la solicitud, tuve que inferirlo por el patrón de la ruta de la solicitud. Al principio, intenté contar las solicitudes a la página de listado de entradas, /blog/.
Resultó que Googlebot había accedido a /blog/ 134 veces. Sin embargo, esta dirección de /blog/ fue creada hoy. Es imposible que haya visitado esa URL 134 veces en los últimos 29 días. Esto significaba que existía una URL /blog/ en otro sitio del mismo servidor. Si las rutas se superponen, no podemos utilizarlas.
Así que acoté mi búsqueda. Solo conté las entradas que tienen una dirección numérica, y solo si ese número estaba presente en la lista real de números de ambas entradas de blog. El mapa del sitio es diferente. Dado que este servidor solo aloja este sitio multiusuario de WordPress, todas las solicitudes que comienzan con /wp-sitemap son nuestras.
# Recopilar los números de las entradas de ambos blogs (públicas y privadas)
wp post list --post_type=post --post_status=publish,private --field=ID | sort -un > ourids.txt
# Contar solo las direcciones numéricas que están en esa lista, además del mapa del sitio
awk -v IDF=ourids.txt '
BEGIN { FS="""; while ((getline id < IDF) > 0) OK[id]=1 }
{ split($2,r," "); p=r[2]; split($3,s," "); sub(/?.*/,"",p)
if (match(p,/^/[0-9]+/$/)) num = substr(p,2,length(p)-2); else num=""
... }' access_log-2026110?Leí el índice y el contenido casi la misma cantidad de veces
El periodo abarca desde el 11 de octubre de 2026 hasta la madrugada del 9 de noviembre, lo que suma 29.2 días. He combinado los cuatro registros semanales con los registros actuales.
| Bot | Peticiones de artículos | Artículos únicos | Por artículo | Sitemap | Números faltantes | llms.txt |
|---|---|---|---|---|---|---|
| bingbot | 162 | 55 | 2.95 | 248 | 7 | 0 |
| ClaudeBot | 148 | 70 | 2.11 | 318 | 0 | 0 |
| Applebot | 120 | 63 | 1.90 | 7 | 11 | 0 |
| GPTBot | 118 | 81 | 1.46 | 60 | 0 | 0 |
| Googlebot | 83 | 25 | 3.32 | 5 | 0 | 0 |
| Reflectionbot | 32 | 27 | 1.19 | 0 | 0 | 0 |
| Otros 6 tipos | 11 | 11 | 1.00 | 15 | 0 | 0 |
| Total | 674 | 96 | – | 653 | 18 | 0 |
Los otros seis son Amazonbot, Bytespider, CCBot, ChatGPT-User, OAI-SearchBot y PerplexityBot. Sumando los doce, en 29 días se procesaron 674 artículos y 653 sitemaps. La mitad de lo que hicieron los bots en este sitio fue leyendo el índice.
De los 653, 419 eran listas de listas
Los sitemaps que genera WordPress no son un único archivo. El archivo /wp-sitemap.xml no contiene las direcciones de los artículos, sino enlaces a cinco sitemaps secundarios. El archivo que realmente lista las direcciones de los artículos es /wp-sitemap-posts-post-1.xml.
| Archivo | Peticiones | Contenido |
|---|---|---|
/wp-sitemap.xml |
419 | Enlaces a 5 sitemaps secundarios |
…taxonomies-category-1.xml |
59 | Direcciones de categorías |
…users-1.xml |
47 | Direcciones de autores |
…posts-post-1.xml |
47 | Direcciones de entradas |
…post_tag-1.xml |
42 | Direcciones de etiquetas |
…posts-page-1.xml |
39 | Direcciones de páginas fijas |
Mientras leí el índice 653 veces, solo llegué a la lista de artículos 47 veces. Esto significa que el resto de las veces solo revisaron si había algo nuevo desde la entrada y se fueron. Como el archivo principal del sitemap contiene la hora de actualización de los archivos secundarios, basta con leer ese archivo para saber si hay novedades. Es la forma más económica de hacer comprobaciones repetidas.
Bots que ven amplio vs. Bots que profundizan
Si convertimos los números a veces por artículo, se nota la diferencia en el tipo de bot.
Googlebot leyó solo veinticinco artículos y los repitió 3.3 veces
En 29 días, Googlebot ha recopilado 83 entradas, pero solo son veinticinco artículos distintos. Esto es una cuarta parte de los cien posibles. El resto nunca los ha abierto. En su lugar, ha vuelto a visitar los que vio un promedio de 3.32 veces. En cuanto al sitemap, solo lo ha leído cinco veces en veintinueve días. Parece que solo revisa repetidamente unos pocos artículos que ha elegido, sin mirar mucho el índice.
GPTBot visitó ochenta y una entradas una sola vez
El opuesto es GPTBot. Con 118 peticiones, ha visitado ochenta y una entradas diferentes, lo que supone 1.46 veces por artículo. Es el que más ampliamientos ha hecho de todos los doce tipos. El sitemap lo ha leído sesenta veces. ClaudeBot está en un punto intermedio, pero lo curioso es el sitemap: tiene 318 lecturas de sitemap frente a 148 de entradas. Es decir, por cada vez que recoge una entrada, lee el índice dos veces.
Applebot ha leído el sitemap solo siete veces, pero ha recogido 120 entradas. Este bot va directo a las entradas sin mirar el índice.
Diez y ocho veces llamé a los números que desaparecieron
Hay dieciocho solicitudes que devolvieron un error 404 en las direcciones. Once de ellas fueron de Applebot y siete de Bingbot. Estos son los números de las publicaciones que subí el 28 de octubre. Ambos bots fueron los que se llevaron esas publicaciones antes de que yo las borrara.
En cuanto a las otras diez, ninguna recibió un 404. Hay bots que vuelven a comprobar si las direcciones que borré siguen ahí, y hay bots que se las llevan una vez y no vuelven; los que vuelven son los que primero se enteran de las direcciones que ya no existen.
Solo cuatro publicaciones no fueron recogidas
De cien números, cuatro no fueron recogidos por ningún bot. Tres de ellos son publicaciones privadas, inaccesibles desde fuera, y una fue publicada siete horas antes de que terminara la medición. Las noventa y seis publicaciones accesibles desde fuera fueron recogidas por al menos un bot.
La recolección se hace sin fallos. No podemos saber a través de los registros si lo que se ha recogido se ha utilizado en resultados de búsqueda o en respuestas de IA. Los registros solo nos dicen que fue "recogido". Tuvimos la misma limitación al contar los rastreadores que se llevaron el mismo artículo treinta y una veces, como en este caso.
llms.txt dio cero resultados
Este sitio tiene un archivo llamado /llms.txt y he puesto su ubicación como comentario en robots.txt. Durante 29 días, ningún bot solicitó ese archivo de los doce que monitoreo. Cero casos.
El archivo devolvió un código 200 en cuarenta y tres ocasiones, y veintitrés de esas solicitudes fueron de rastreadores comerciales que dicen ser de recopilación de información del sitio o de navegadores, y veinte fueron las que envié yo mismo para comprobar. No había bots de IA que leyeran el archivo que creé para ellos.
Lo que no se puede decir
El nombre del bot es solo el texto que viene en la solicitud. Como no he cotejado con rangos de IP públicos, puede haber falsificaciones mezcladas. El número de este texto corresponde a la cantidad de "solicitudes que vinieron con ese nombre".
Las direcciones de número pueden aparecer en ambos lados porque los dos blogs comparten el espacio de numeración. Por lo tanto, el número por bot es la suma de ambos blogs, y no he especificado qué contenido se ha tomado de cada uno. El sitemap también es una suma porque los tres dominios utilizan la misma ruta.
El día 29 no es suficiente para capturar el ciclo del bot. Que GoogleBot solo haya visto veinticinco artículos no significa que sea un "bot que ve veinticinco artículos", sino que "en esta ventana de 29 días, eran veinticinco".
Preguntas frecuentes
¿No se puede sumar el número de artículos únicos por semana?
Al principio lo hice y me equivoqué. Sumé los artículos únicos de cada semana y luego sumé cuatro semanas, lo que dio 117 artículos para GPTBot, un valor imposible dado que solo hay cien direcciones de número. Si un artículo fue tomado tanto en la semana 2 como en la semana 4, se cuenta dos veces por semana. El conteo único debe hacerse una sola vez para toda la ventana. Por eso, seleccioné los datos como pares de nombre de bot y número de artículo, y al final eliminé los duplicados.
¿Es una buena señal que lea mucho el índice?
Con esta medición no se puede saber. Que lea mucho el índice solo significa que "revisa las actualizaciones con frecuencia", no que "toma más artículos". De hecho, AppleBot, que leyó el sitemap solo siete veces, tomó menos artículos que ClaudeBot, que leyó el sitemap más veces. GoogleBot, que leyó el sitemap solo cinco veces, fue el que menos vio. No se ve una correlación entre el número de solicitudes al índice y el número de solicitudes de artículos.
¿Qué se hizo con las solicitudes sin nombre de bot?
No se contaron. Este texto solo aborda los doce tipos que vinieron con nombre. Aunque hay solicitudes de bots disfrazados de navegadores, no hay forma de distinguirlos, así que los dejé fuera. Por lo tanto, los 674 y 653 que aparecen aquí son el límite inferior de los que revelaron su nombre, no el total.
