AIクローラーの動きを分析してみた
AIクローラーが記事を巡回しているという話はよく聞きますが、それらのボットが記事と目次それぞれに何回ずつアクセスしているのか、実際に数えてみたことはありませんでした。そこで29日分のApacheログを開き、ボット名ごとに記事のURLとサイトマップのURLを個別に数えてみたんです。結果、記事は674回、目次は653回アクセスされていました。ほぼ同数ですね。さらに、その653回のうち419回は、単なる記事一覧ではなく「一覧の中の一覧」でした。ボットごとの性質も様々でした。Googleボットは29日間でわずか25の記事しか見ていませんでしたが、その中で1記事あたり平均3.3回アクセスしていました。一方、GPTBotは81記事をほぼ1回ずつしか見ていませんでした。
まず「自社コンテンツかどうか」の判断を間違えていた
このサーバーは複数のサイトからApacheログを一つのファイルにまとめて出力しています。ログにどのドメインからのリクエストかを示す欄がないため、リクエストのパスの形から判断する必要がありました。最初は記事一覧のパスである/blog/もカウント対象に含めてみたんです。
その結果、Googleボットが/blog/に134回アクセスしているという数字が出ました。しかし、このブログの/blog/は今日作ったばかりのパスなんです。29日前から134回もアクセスできるはずがありません。同じサーバー上の別のサイトにも/blog/が存在していたことが原因でした。パスが重複している場合は、そのパスは利用できません。
そこで計測対象を絞り込みました。記事は番号付きのURLのみを対象とし、その番号が実際に2つのブログの両方にある番号リストに含まれている場合にのみカウントしました。サイトマップは別です。このサーバーでWordPressが動いているのはこのマルチサイトが唯一なので、/wp-sitemapから始まるリクエストはすべて自社のものであると判断しました。
# 2つのブログの記事番号をすべて集める(公開・非公開含む)
wp post list --post_type=post --post_status=publish,private --field=ID | sort -un > ourids.txt
# 番号付きURLのうち、上記リストに含まれるものとサイトマップのみをカウントする
awk -v IDF=ourids.txt '
BEGIN { FS="""; while ((getline id < IDF) > 0) OK[id]=1 }
{ split($2,r," "); p=r[2]; split($3,s," "); sub(/?.*/,"",p)
if (match(p,/^/[0-9]+/$/)) num = substr(p,2,length(p)-2); else num=""
... }' access_log-2026110?目次と本文、ほぼ同じ回数読まれていました
2026年10月11日から11月9日未明までの期間、合計29.2日間を記録しました。週ごとに保存されていたログ4つと、現在のログを合わせて集計した結果です。
| ボット | 記事リクエスト数 | ユニーク記事数 | 記事あたりの平均 | サイトマップ | 欠落番号 | llms.txt |
|---|---|---|---|---|---|---|
| bingbot | 162 | 55 | 2.95 | 248 | 7 | 0 |
| ClaudeBot | 148 | 70 | 2.11 | 318 | 0 | 0 |
| Applebot | 120 | 63 | 1.90 | 7 | 11 | 0 |
| GPTBot | 118 | 81 | 1.46 | 60 | 0 | 0 |
| Googlebot | 83 | 25 | 3.32 | 5 | 0 | 0 |
| Reflectionbot | 32 | 27 | 1.19 | 0 | 0 | 0 |
| その他6種 | 11 | 11 | 1.00 | 15 | 0 | 0 |
| 合計 | 674 | 96 | – | 653 | 18 | 0 |
その他6種には、Amazonbot、Bytespider、CCBot、ChatGPT-User、OAI-SearchBot、PerplexityBotが含まれます。合計12種類のボットが29日間にわたって記事を674回、サイトマップを653回読み込んでくれました。ボットがこのサイトで行った作業の半分が、目次を読み込むことだったわけです。
653回のうち419回は「リストの中のリスト」でした
WordPressが出力するサイトマップは単一のファイルではありません。/wp-sitemap.xmlは記事のURLそのものではなく、5つの下位サイトマップへのリンクだけを保持しています。実際に記事のURLが記載されているファイルは、/wp-sitemap-posts-post-1.xmlというものです。
| ファイル | リクエスト数 | 内容 |
|---|---|---|
/wp-sitemap.xml |
419 | サブサイトマップ5つへのリンク |
…taxonomies-category-1.xml |
59 | カテゴリーのURL |
…users-1.xml |
47 | 投稿者(著者)のURL |
…posts-post-1.xml |
47 | 記事のURL |
…post_tag-1.xml |
42 | タグのURL |
…posts-page-1.xml |
39 | 固定ページ(ページ)のURL |
目次を653回読んだ間に、記事一覧までたどり着いたのは47回だけでした。残りの回数は、入り口で「何か変わったか」だけ確認して戻ったということでしょう。サイトマップの最上位ファイルには、各下位ファイルの更新日時が記載されているので、そこだけ読めば更新の有無は分かります。つまり、一番コストの安い確認を繰り返しているわけです。
広く全体を見るボットと、狭く深く掘り下げるボット
同じ数字を「記事あたりの回数」に置き換えてみると、ボットの性質がはっきりと分かってきます。
Googlebotは25件の記事を見て平均3.3回ずつ取得
29日間でGooglebotが取得した記事は83回ですが、異なる記事はたった25種類しかありません。これは全100のURLのうち4分の1にすぎません。残りの記事は一度も開かれていません。代わりに、見つけた記事は平均3.32回ずつ再取得しているようです。サイトマップは29日間でわずか5回しか読み込まれていません。これは、目次をほとんど見ずに、自分が選んだ少数の記事だけを繰り返し確認している様子が伺えます。
GPTBotは81件の記事を1回ずつ取得
対照的なのがGPTBotです。リクエスト数118回に対して、異なる記事は81種類、記事あたりの平均は1.46回です。これは全12種類の中で最も広く情報を収集していると言えます。サイトマップは60回読み込まれました。ClaudeBotは中間的な位置ですが、特筆すべきはサイトマップの読み込み回数です。記事の148回よりもサイトマップの318回の方が多くなっています。これは、記事を1回取得するたびに目次を2回読んでいる計算になります。
Applebotはサイトマップをわずか7回しか読み込んでいませんが、記事は120回取得しています。これは目次を見ずに記事だけを拾っているタイプですね。
消えてしまった番号を18回叩いた話
アドレスの番号の中で、404エラーが返ってきたリクエストが18件ありました。Applebotが11件、Bingbotが7件です。10月28日に公開した記事たちの番号です。これらは、記事を公開する前に読みに行ってしまったボットたちでした。
残りの10件は、404エラーを一度も受けませんでした。削除されたアドレスを再確認しに来るボットと、一度取得したら二度と戻ってこないボットに分かれるのですが、戻ってくる側が消えたアドレスを先に知ることになります。
取得されなかった記事はたった4つだけ
100の番号のうち、どのボットにも取得されなかったのは4つです。そのうち3つは非公開で外部から開けない記事ですし、1つは測定終了の7時間前に投稿した記事です。外部から開ける96の記事は、最低でも1つのボットに取得されていました。
収集は漏れなく行われています。収集されたものが検索結果やAIの回答に使われたかどうかはログからは分かりません。ログが教えてくれるのは「取得された」という事実までです。同じ記事を31回取得したクローラーを数える際も、同じ壁にぶつかりました。
llms.txtは0だった
このサイトでは/llms.txtというファイルを設置しており、robots.txtの中にその場所をコメントとして記載しています。29日間、12種類のボットの中でそのファイルを要求したボットはいませんでした。0件です。
そのファイルが200(成功)で返されたのは43回ですが、そのうち23回はサイト情報を集める商用クローラーや、自分たちをブラウザと名乗るリクエストによるもので、残りの20回は私が確認するために直接送ったものです。AIボットのために作ったファイルを読みに行った側には、AIボットはいませんでした。
お話しできないこと
ボットの名前は、リクエストに記載された文字に過ぎません。公開されているIPアドレスの範囲と照合していないため、偽物も混じっている可能性があります。この記録の数字は、「名前を記載して来たリクエスト」の総数です。
記事の番号については、2つのブログが番号空間を共有しているため、同じ番号が両方のブログに存在することがあります。そのため、ボットごとの数字は両ブログを合わせた合計値であり、どちらのブログの記事を取得したかは特定していません。サイトマップに関しても、3つのドメインが同じパスを使っているため、合計値として記載しています。
29日間という期間は、ボットの活動周期を捉えるには短すぎます。Googleボットが25記事しか見ていないという事実は、「25記事しか見るボット」というよりは、「この29日間の期間においては25記事だった」という状況を指します。
よくある質問
週ごとにユニークな記事数を合計してもダメですか?
最初はそう試みましたが、間違いでした。週ごとにユニークな記事数を数えて4週間合計したところ、GPTBotが117記事と算出されましたが、番号の総数が100個しかないため、ありえない値です。同じ記事を2週目と4週目にそれぞれ取得した場合、週ごとの集計では2回カウントされてしまいます。ユニークな数は期間全体で一度だけ数えるべきです。そこで、集計はボット名と記事番号のセットで抽出し、最後に重複を排除しました。
目次を多く読み込むのは良い兆候ですか?
この測定方法だけでは判断できません。目次を頻繁に読むというのは、「更新を頻繁にチェックしている」という意味であって、「記事を多く取得している」という意味ではありません。実際に、サイトマップを最も多く読んだClaudeBotよりも、サイトマップを7回しか読まなかったAppleBotの方が記事を少なく取得しており、サイトマップを5回しか読まなかったGoogleボットが最も狭い範囲しか見ていません。目次リクエスト数と記事リクエスト数の間に、何らかの傾向は見られません。
ボット名が記載されていないリクエストはどう処理しましたか?
カウントしていません。この記事では、名前を記載して来た12種類のボットのみを取り扱っています。ブラウザを名乗っているリクエストの中にもボットが混じっていますが、区別する方法がないため除外しました。そのため、ここに記載されている674回や653回は、全体ではなく名前を明かしたボットの最低限の数となります。
