AI爬蟲抓取文章與目錄的次數分析
最近常聽到 AI 爬蟲會抓走文章,但其實很少有人會統計這些機器人究竟是來爬文章和目錄各幾次。所以我把 29 天的 Apache 存取日誌都翻出來,依照機器人名稱分別統計了文章網址和網站地圖網址的次數。結果是文章被抓了 674 次,目錄被讀了 653 次,兩者幾乎一樣多。而且在這 653 次讀取中,有 419 次的不是文章列表,而是「列表的列表」。不同機器人的行為模式也各有千秋。Googlebot 在這 29 天內只看了 25 篇文章,但每篇文章平均被抓了 3.3 次;而 GPTBot 則抓了 81 篇文章,但幾乎每篇只抓了一次。
首先,我搞錯了「這是我們的文章」這個判斷標準
這台伺服器是同時運行好幾個網站,把所有網站的請求都寫在同一個 Apache 存取日誌檔案裡。由於日誌中沒有標註是哪個網域的請求,我必須透過請求路徑的樣貌來判斷。起初,我還試著統計文章列表網址 /blog/ 的次數。
結果顯示 Googlebot 爬取了 134 次 /blog/。但事實是,這個部落格的 /blog/ 頁面是今天才建立的。它不可能在 29 天前就出現 134 次的紀錄。原來,同一個伺服器上還有其他網站也使用過 /blog/ 這個路徑。如果路徑重複,那就不能用它來判斷。
所以,我縮小了判斷的範圍。文章的網址必須是編號格式,而且這個編號必須出現在兩個部落格實際擁有的文章 ID 清單中,我才將其計入。至於網站地圖(Sitemap),情況就不同了。因為這台伺服器上只有這一個使用 WordPress 的多站點(Multisite),所以所有以 /wp-sitemap 開頭的請求,都可以確定是我們的。
# 收集兩個部落格的文章編號(包含公開和私密)
wp post list --post_type=post --post_status=publish,private --field=ID | sort -un > ourids.txt
# 統計那些編號在清單內,且是文章網址,以及網站地圖的請求
awk -v IDF=ourids.txt '
BEGIN { FS="""; while ((getline id < IDF) > 0) OK[id]=1 }
{ split($2,r," "); p=r[2]; split($3,s," "); sub(/?.*/,"",p)
if (match(p,/^/[0-9]+/$/)) num = substr(p,2,length(p)-2); else num=""
... }' access_log-2026110?目錄和正文的閱讀次數幾乎持平
這段數據涵蓋的時間是從 2026 年 10 月 11 日到 11 月 9 日凌晨,總共是 29.2 天。我把四個按週儲存的日誌,跟目前的日誌加在一起算出來的。
| 機器人 | 文章請求次數 | 獨特文章數 | 每篇文章平均值 | 網站地圖 (Sitemap) 請求次數 | 缺失編號次數 | llms.txt 請求次數 |
|---|---|---|---|---|---|---|
| bingbot | 162 | 55 | 2.95 | 248 | 7 | 0 |
| ClaudeBot | 148 | 70 | 2.11 | 318 | 0 | 0 |
| Applebot | 120 | 63 | 1.90 | 7 | 11 | 0 |
| GPTBot | 118 | 81 | 1.46 | 60 | 0 | 0 |
| Googlebot | 83 | 25 | 3.32 | 5 | 0 | 0 |
| Reflectionbot | 32 | 27 | 1.19 | 0 | 0 | 0 |
| 其他 6 種 | 11 | 11 | 1.00 | 15 | 0 | 0 |
| 總計 | 674 | 96 | – | 653 | 18 | 0 |
剩下的六種機器人包括 Amazonbot、Bytespider、CCBot、ChatGPT-User、OAI-SearchBot 和 PerplexityBot。把這十二種機器人加起來,在 29 天內總共請求了 674 次文章和 653 次網站地圖。機器人在這個網站上所做的事情中,有一半是閱讀目錄。
653 次請求中,有 419 次是目錄列表本身
WordPress 產生的網站地圖並不是單一檔案。/wp-sitemap.xml 裡面並沒有包含文章的實際網址,它只包含指向五個子網站地圖的連結。真正列出文章網址的檔案是 /wp-sitemap-posts-post-1.xml。
| 檔案 | 請求次數 | 內容摘要 |
|---|---|---|
|
419 | 指向 5 個子網站地圖的連結 |
|
59 | 分類網址 |
|
47 | 作者網址 |
|
47 | 文章網址 |
|
42 | 標籤網址 |
|
39 | 固定頁面網址 |
在瀏覽目錄 653 次的過程中,實際進入文章列表的次數只有 47 次。這代表大部分的訪客都只在入口處快速確認「有沒有更新」就離開了。由於網站地圖(Sitemap)的頂層檔案會記錄子檔案的更新時間,光看它就能判斷內容是否更新,這就是目前最省成本的檢查方式。
廣泛瀏覽的機器人 vs. 專注挖掘的機器人
如果我們將這些數字換算成「每篇文章被抓取多少次」,就能更清楚地看出不同機器人的特性。
Google 機器人只看過 25 篇,但平均抓了 3.3 次
在 29 天內,Google 機器人抓取了 83 次文章,但實際上只涵蓋了 25 篇不同的文章。這大約佔了所有 100 個編號網址的四分之一。其餘的網址則從未被打開過。不過,它抓取到的文章平均會被重複抓取 3.32 次。至於網站地圖,Google 機器人在這 29 天內只讀取了 5 次。看來它幾乎沒看目錄,只是不斷重複檢查自己選定的一小批文章。
GPTBot 則逐一抓取了 81 篇文章
與之形成對比的是 GPTBot。它在 118 次文章請求中,抓取了 81 篇不同的文章,平均每篇文章被抓取 1.46 次。在所有類型中,它擁有最廣泛的瀏覽範圍。它的網站地圖讀取次數是 60 次。而 ClaudeBot 則處於中間的水平,但它在網站地圖上的讀取次數(318 次)遠高於文章請求次數(148 次)。這意味著它在抓取一篇文章的過程中,就已經瀏覽了兩次網站地圖。
Applebot 則表現為只讀取了 7 次網站地圖,卻抓取了 120 篇文章。這類機器人完全是直接鎖定文章,完全不看目錄。
我重複敲了十八次那些消失的頁碼
在網址中,有十八個請求回傳了 404 錯誤。Applebot 有十一個,Bingbot 有七個。這些都是我於 10 月 28 日下架的文章編號。它們都是在下架前就抓走了這些內容的機器人。
剩下的十個網址則從未收到過 404 錯誤。這類情況可以區分為兩類:是會再回來檢查已被移除網址的機器人,或是抓取後就不再回來的機器人。後者會先讓我知道那些消失的網址。
沒被抓走的文章只有四篇
在一百個編號中,有四篇完全沒有任何機器人抓走。其中有三篇是設定為私密,所以外部無法存取;另一篇則是在測試結束前七小時才上架的文章。除了這四篇之外,所有可以公開存取的九十六篇文章,都至少被某個機器人抓過一次。
內容的收集是會做到不遺漏的。不過,這些被收集的內容是否被用在了搜尋結果或 AI 的回答中,我無法從日誌中得知。日誌只能告訴我「被抓取了」這個事實。即使是計算抓取同一篇文章三十一次的爬蟲(抓取相同文章的爬蟲),我也遇到了同樣的限制。
llms.txt 的請求數是零
我的網站提供了 /llms.txt 這個檔案,並且在 robots.txt 中註記了它的位置。在 29 天內,沒有任何機器人請求這個檔案,數量是零。
雖然該檔案有四十三次回傳 200 狀態碼,但其中有二十三次來自收集網站資訊的商業爬蟲或自稱是瀏覽器的請求,另外二十次是我自己為了確認而主動發出的請求。讀到這個為 AI 機器人準備的檔案的,並沒有 AI 機器人。
關於那些無法言喻的事
機器人的名稱只是依照請求中寫上的文字而已。因為我沒有對公開的 IP 區塊進行比對,所以其中可能混雜著偽造的資訊。這篇文章中的數字,代表的是「寫下名字後送來的請求」的數量。
關於編號地址,由於這兩個部落格是共用編號空間的,所以可能會出現相同的編號出現在雙方。因此,每個機器人的數字是將兩個部落格的總和計算出來的,我並沒有透露是從哪一邊抓走了文章。網站地圖(Sitemap)也是因為三個網域共用相同的路徑,所以是將它們加總後的數值。
用 29 號來記錄機器人的週期可能還不夠充裕。即使 Googlebot 只看了 25 篇文章,這也不是「只看 25 篇文章的機器人」,而是「在 29 號這個時間窗口內,它只看了 25 篇文章」的意思。
常見問題
加總每週計算出的獨特文章數可以嗎?
我一開始是這麼做的,但後來發現有誤。我試著分別計算每週的獨特文章數,然後加起來,結果 GPTBot 顯示有 117 篇文章,但由於編號地址總共只有一百個,這個數字是不可能出現的。如果同一篇文章在第 2 週和第 4 週被抓走了,那麼在每週的統計中就會被計算兩次。因此,獨特文章的計算必須在整個時間窗口內只計算一次。所以,我將統計結果以「機器人名稱與文章編號的組合」來列出,最後再進行去重處理。
經常讀取目錄是個好跡象嗎?
僅憑這個數據無法判斷。經常讀取目錄,只代表「它會經常查看更新」,這並不等於「它會抓取更多文章」。事實上,在讀取網站地圖(Sitemap)的次數上,ClaudeBot 雖然讀取最多,但 Applebot 雖然只讀了七次網站地圖,抓取到的文章數量卻比它更多;而 Googlebot 雖然只讀了五次網站地圖,抓取到的文章數量是最少的。從目錄請求次數和文章請求次數之間,我沒有看到任何明顯的趨勢。
沒有寫上機器人名稱的請求是如何處理的?
我沒有將它們計入。這篇文章只針對那些寫上名字的十二種機器人進行說明。即使在自稱是瀏覽器的請求中,也混雜著機器人,但我無法將它們區分出來,所以選擇將其排除在外。因此,這裡寫的 674 篇和 653 篇,代表的是「公開表明身份的那些機器人的最低數量」,而不是總數。
