32秒で20記事が消えた謎
2026年10月28日夜8時21分、このブログのURL23個が突然姿を消しました。記事を削除したわけではなく、公開設定だけを変更したんです。昨日まで200というステータスを返していたURL群が、その瞬間から404エラーを返すようになりました。同じサイト内の他の記事はそのまま残しています。クローラーの視点で見ると、同じサーバー、同じサイトのURL群のうち、一部だけが急になくなった、という状況です。
このような切り替えが発生すると、比較対象が生まれます。切り替え前の5日間と、切り替え後の5日間で、各クローラーがそれらのURLに何回アクセスしたか、そして誰がその変化に気づき、誰が気づかなかったのかをログで追跡できます。同じサイト内に残したURL群が、比較のための対照群となるわけです。例えば、同じ記事を31回取得するクローラーを追跡した時のログを、もう一度開いてみました。
20本の記事を32秒で取得した経緯
まず、切り替え前の5日間で、その22個のURLを誰が取得していたのかを確認しました。全ての応答は「200 OK」でした。
| クローラー | リクエスト数 | 取得したURL数 | 日時 |
|---|---|---|---|
| GPTBot | 20 | 20 | 10/23 15:53:09 〜 15:53:41 |
| Mediapartners-Google | 17 | 17 | 10/24 15:18 〜 16:34 |
| SemrushBot | 14 | 14 | 10/23 〜 10/25 |
| Applebot | 8 | 8 | 10/23 〜 10/24 |
| AhrefsBot | 4 | 4 | 10/27 22:16 〜 23:31 |
| その他の商用クローラー | 46 | 22 | 10/23 〜 10/27 |
| Googlebot | 0 | 0 | — |
| bingbot | 0 | 0 | — |
GPTBotの記録を詳しく見ると、32秒で20本も取得していました。これは秒速1本近いスピードで一気に情報をかき集めていたようで、その5日間で再訪することはありませんでした。これは、毎日少しずつ取得するのではなく、一度にリストをまとめて読み込むタイプの動作だと分かります。Mediapartners-Googleは広告掲載場所を確認するクローラーで、10月24日の約1時間半の間、17本を取得していました。
Google検索系のクローラーやBingのクローラーは、この22個のURLに対して5日間一度もリクエストを送っていませんでした。これが、後から判明した事実です。
どうやってカウントしたのか?
ログは、ローテーションされて保存されたファイルと、現在も生きているファイルを両方読み込んで分析しました。生きているファイルはどんどんデータが増えていくので、日付の区切りで分析の範囲を固定しました。
分析期間A(変更前) 2026-10-23 00:00 ~ 10-28 00:00 5日間
変更日 2026-10-28 20:21 23のURLが200 → 404に変化
分析期間B(変更後) 2026-10-29 00:00 ~ 11-03 00:00 5日間変更があった10月28日は、どちらの分析期間にも含めませんでした。この日は前後のデータが混ざってしまうためです。そのため、分析期間の間に24時間の空白が生じています。
このサーバーのApacheログには、どのドメインへのリクエストなのかが記録されていません。記事のURLが/番号/のような形式なのですが、この「番号」はサイトごとに個別に振られているため、他のサイトでも同じ番号が使われている場合、どのサイトへのリクエストなのか区別がつきません。そこで、番号が重複していないものだけを対象としました。消えてしまった23件のうち22件、残っている30件のうち27件がこれに該当します。残りの分は計算から除外し、件数には含めていません。
クローラーの区別は、User-Agent文字列に含まれるトークンのみを使って行いました。アクセス元のIPアドレスを逆引きしてなりすましを排除するような作業は行っていません。
URLが消えたことに気づいたクローラーは3種類でした
変更後の5日間で、同じ22のURLに対してリクエストが来た記録です。これら全てのレスポンスは404エラーでした。
| クローラー名 | 404エラーを受け取ったリクエスト数 | URL | 発生日時 |
|---|---|---|---|
| SemrushBot | 8 | 8 | 10/30に1件、10/31に7件 |
| DotBot | 4 | 3 | 10/29に3件、10/30に1件 |
| bingbot | 3 | 3 | 10/29に1件、11/02に2件 |
| GPTBot | 0 | 0 | — |
| Mediapartners-Google | 0 | 0 | — |
| Applebot | 0 | 0 | — |
| Ahref sBot | 0 | 0 | — |
| Googlebot | 0 | 0 | — |
ボットが受け取った404エラーは5日間で15件でした。それ以外で、ブラウザのようなUser-Agentからのリクエストが3件ありましたが、これらはボットとしてカウントしていません。
コンテンツを削除する前にそのURLを巡回していたクローラーは5種類ありました。その中で、削除後に再度問い合わせてきたのはSemrushBotただ一つです。GPTBotは32秒で20件を取得しましたが、その20件が消えたことに5日間気づきませんでした。広告クローラーも、Apple側のクローラーも、Ahrefズも再訪しませんでした。
逆のパターンもあります。bingbotとDotBotは削除前の5日間、その22のURLを一度も取得していませんでしたが、削除後に404を受けました。つまり、取得したことがないものが消えたことを先に知る構造になっているわけです。
一番多く取得した方が一番遅く気づく
両方の表を重ねて見ると、順番が逆転しています。削除前に最も多く取得していたGPTBot(20件)や広告クローラー(17件)は、404を受け取った回数が0件です。削除前に4件しか取得していなかったAhrefズBotも0件でした。一方で、404を最も多く受けたSemrushBotは、削除前は14件で3番目でした。
この違いは品質の評価というより、再訪問の頻度に起因しているように見えます。一度巡回してその後しばらく来ないクローラーは、その間に何が変わっても気づきません。短い周期で巡回し、自身のリストを常に更新しているクローラーはすぐに気づきます。だから、記事を削除した際の「クローラーが気づくタイミング」は一つではなく、クローラーごとに数日ずれるのです。
Googleボットは非公開する前から選んでいた
Googleボットは、どちらのサイト側でもその22のURLをリクエストしていませんでした。消えたから来なかったわけではないのです。元々存在していたときも取得していなかったのです。
このサーバー全体で、/番号/のような形式のURLに対してGoogleボットからのリクエストを日付別に集計すると、以下のようになります。
| 日付 | リクエスト数 | 巡回時間 | どちらの側を取得したか |
|---|---|---|---|
| 10/24 | 19 | 19:55:57 ~ 20:08:40 (13分) | 残しておいた側 17件 |
| 10/29 | 21 | 03:08:49 ~ 03:18:15 (10分) | 残しておいた側 19件 |
| 11/02 | 1 | — | — |
10月20日から11月3日までの約2週間で、記事のURLに対してGoogleボットがアクセスしたのは3日だけでした。そしてアクセスした際は、10分から13分という短い間に20件近くをまとめて取得していきます。GPTBotの32秒よりは遅いですが、こちらだって一日でまとめて来るわけではありません。
重要なのは、2回の集中アクセスがどちらも「残しておいた側」のURLだけを巡回していたという点です。10月24日はまだ22のURLが生存していた日です。その日、Googleボットはサイト内で選択肢を持っていたにもかかわらず、片方を選んで巡回しました。10月29日に再び来て19件を取得したのも、すべて「残しておいた側」のものです。
AdSenseクローラーは3日でアクセスが途絶えた
広告系のクローラーの動きは別でした。サーバー全体のアクセス数を日付ごとに見てみると、10月24日に264件、10月28日に268件、10月29日に55件、10月31日に38件、11月3日に39件という数字が出ています。完全に消えたわけではなく、アクセス数が7分の1に減っただけなんです。
ただ、このブログのURLだけを抜き出して見てみると、ウィンドウAには42件がすべて10月24日の1日に集中していて、ウィンドウBには0件という結果でした。 10月28日にサーバー全体で268件のアクセスがあったにもかかわらず、このブログのページに来たアクセスはゼロ。他のサイトへ流れていったんですね。なぜそう分かれたのか、ログには記録されていません。
残りの記事へのリクエストは増えたけど、原因は違うんです
比較対象として置いていた27個のURLについては、リクエストが増えていました。ウィンドウAが113件からウィンドウBが148件に増えているんです。URLの数を減らしたから、残りの方に集まったと読みたくなりますが、増えた分を詳しく見てみるとそう断言するのは難しいです。
ウィンドウBで増えたのは、ほとんどがそれまで見られなかったクローラーたちでした。QlyzeBotが32件、ElevenlabsCrawlerが27件、DataForSeoBotが27件、MJ12botが2件です。この4つの合計で88件なんですが、同じグループがウィンドウAでは37件でした。新しい商用クローラーが入ってきたのと、URLを減らしたことが同じ週に重なってしまったのかもしれません。
Googlebotは17件から19件へ、GPTBotは7件から12件へと増加しました。確かに増えてはいますが、両方のウィンドウがそれぞれ5日間で、Googlebotは期間中に一度しか来なかったため、単なる一時の急増で2件多くカウントされたという差です。これは「人間がAIを止めようとする瞬間」を数える場合と同じような問題ですね。変化が見えることと、その変化の真の原因を突き止めることは全く別物なんです。
この数字が語らないこと
窓の開きは5日ごとです。再訪問のサイクルが5日より長いクローラーは、そもそも404を返す機会がありませんでした。ですから、「もう問い合わせない」という状態は、「今後絶対に来ない」という意味ではなく、「5日以内には来なかった」という事実を意味します。GPTBotが6日目に再訪する可能性だってあります。
サイトマップファイルは3つのドメインが同じパスを使っているため、どのサイトのサイトマップを読み込もうとしていたのか区別がつきません。そのため、各クローラーがリストを再度取得したかどうかをカウントに含めることができませんでした。また、404を受け取った側がリストを見てきたのか、自身の記録を見てきたのかも判別できません。
今回は404のみで計測しました。410を返せばより早く反映されるという話はありますが、今回の切り替えは404のみだったため、比較対象がありません。
User-Agentのトークンだけに頼りました。Bingbotは先頭の文字列が異なるバリエーションが混じっていたためトークンでまとめて処理し、ブラウザのように見えた3件はボットとしてカウントしませんでした。もしこの3件が実際にクローラーだったなら、404を受け取った件数は3件よりも多くなっていたはずです。
もう一度計測する予定です
2026年11月18日に同じツールを使って再カウントを行います。これは切り替えから3週間後のタイミングです。以下の4点を確認する予定です。
第一に、GPTBotや広告クローラーが最終的に404を受け取るか、もし受け取るなら切り替えから何日後に来るか、という点です。第二に、SemrushBotが404を8回受け取った後もそのアドレスを探し続けるのか、それともリストから除外されるのか、という点です。第三に、Googlebotのアクセス間隔が5日で維持されるか、という点です。第四に、新しく入ってきた商用クローラー4つが残り続けるのか、それとも消えていくのか、という点です。
よくある質問
404と410、どちらが早く反映されるのでしょうか?
この測定結果だけではお答えできません。今回は404のみで切り替えを行ったため、比較できるデータがないからです。両者を比較するには、同じ日に同じクローラーがアクセスするアドレスを2つのグループに分け、片方に404、もう片方に410を返し、同じ期間で計測する必要があります。次回その設計で再測定する予定です。
記事を下にスクロールさせると、検索結果ではどれくらい遅れて表示されるのでしょうか?
ここからは分かりません。なぜなら、Googlebotがその22個のアドレスに対して404を受け取った回数が0件だからです。インデックスから外れるタイミングをログで確認するには、まずそのクローラーが404を受け取る必要があり、受け取った記録がなければ計測する対象がありません。そもそも取得したことのないアドレスであれば、なおさらです。
クローラーをどのように除外したのですか?
User-Agent文字列に含まれる名前トークンのみを基準に判断しました。IPアドレスの逆引きを使ってなりすましを排除はしていません。この記事の結論は「リクエストが来なかった」という側なので、なりすましを除外しても数字は減る方向で、結論が覆ることはありません。逆に「404を受け取った」という側の数字は、なりすましが混ざっていれば減ります。
