목차를 653번, 글을 674번 읽었다
AI 크롤러가 글을 가져간다는 말은 많이 보는데, 그 봇들이 글과 목차에 각각 몇 번씩 들르는지는 세어 본 적이 없었습니다. 그래서 29일치 아파치 로그를 열어 봇 이름별로 글 주소와 사이트맵 주소를 따로 셌습니다. 글은 674번 가져갔고 목차는 653번 읽었습니다. 거의 같습니다. 그리고 653번 중 419번이 글 목록이 아니라 목록의 목록이었습니다. 봇마다 성격도 갈렸습니다. 구글봇은 29일 동안 스물다섯 편만 보면서 한 편을 3.3번씩 가져갔고, GPTBot은 여든한 편을 거의 한 번씩만 가져갔습니다.
먼저 「우리 글인지」를 가리는 데서 틀렸다
이 서버는 여러 사이트가 아파치 로그 한 파일을 함께 씁니다. 로그에 어느 도메인으로 들어온 요청인지 적는 칸이 없어서, 요청 경로의 모양으로 가려야 합니다. 처음에는 글 목록 주소 /blog/도 세어 보려고 넣었습니다.
구글봇이 /blog/를 134번 가져간 것으로 나왔습니다. 그런데 이 블로그의 /blog/는 오늘 만든 주소입니다. 29일 전부터 134번 들렀을 수가 없습니다. 같은 서버의 다른 사이트에도 /blog/가 있었던 것입니다. 경로가 겹치면 그 경로는 쓸 수 없습니다.
그래서 셀 대상을 좁혔습니다. 글은 번호 주소뿐이고, 그 번호가 두 블로그에 실제로 있는 번호 목록에 들어 있을 때만 셌습니다. 사이트맵은 다릅니다. 이 서버에서 워드프레스가 돌아가는 곳은 이 멀티사이트 하나뿐이라 /wp-sitemap으로 시작하는 요청은 모두 우리 것입니다.
# 두 블로그의 글 번호를 모아 둔다 (공개 + 비공개)
wp post list --post_type=post --post_status=publish,private --field=ID | sort -un > ourids.txt
# 번호 주소 중 그 목록에 있는 것, 그리고 사이트맵만 센다
awk -v IDF=ourids.txt '
BEGIN { FS="""; while ((getline id < IDF) > 0) OK[id]=1 }
{ split($2,r," "); p=r[2]; split($3,s," "); sub(/?.*/,"",p)
if (match(p,/^/[0-9]+/$/)) num = substr(p,2,length(p)-2); else num=""
... }' access_log-2026110?
목차와 본문을 거의 같은 횟수로 읽었다
2026년 10월 11일부터 11월 9일 새벽까지 29.2일입니다. 주 단위로 보관된 로그 네 개와 현재 로그를 합쳤습니다.
| 봇 | 글 요청 | 고유 글 | 글당 | 사이트맵 | 없는 번호 | llms.txt |
|---|---|---|---|---|---|---|
| bingbot | 162 | 55 | 2.95 | 248 | 7 | 0 |
| ClaudeBot | 148 | 70 | 2.11 | 318 | 0 | 0 |
| Applebot | 120 | 63 | 1.90 | 7 | 11 | 0 |
| GPTBot | 118 | 81 | 1.46 | 60 | 0 | 0 |
| Googlebot | 83 | 25 | 3.32 | 5 | 0 | 0 |
| Reflectionbot | 32 | 27 | 1.19 | 0 | 0 | 0 |
| 나머지 6종 | 11 | 11 | 1.00 | 15 | 0 | 0 |
| 합계 | 674 | 96 | – | 653 | 18 | 0 |
나머지 여섯 종은 Amazonbot·Bytespider·CCBot·ChatGPT-User·OAI-SearchBot·PerplexityBot입니다. 열두 종을 합쳐 29일 동안 글 674번, 사이트맵 653번입니다. 봇이 이 사이트에서 한 일의 절반이 목차 읽기였습니다.
653번 중 419번은 목록의 목록이었다
워드프레스가 내는 사이트맵은 한 파일이 아닙니다. /wp-sitemap.xml은 글 주소를 담고 있지 않고, 다섯 개의 하위 사이트맵으로 가는 링크만 들어 있습니다. 글 주소가 실제로 적혀 있는 파일은 /wp-sitemap-posts-post-1.xml입니다.
| 파일 | 요청 | 안에 든 것 |
|---|---|---|
/wp-sitemap.xml |
419 | 하위 사이트맵 5개로 가는 링크 |
…taxonomies-category-1.xml |
59 | 카테고리 주소 |
…users-1.xml |
47 | 작성자 주소 |
…posts-post-1.xml |
47 | 글 주소 |
…post_tag-1.xml |
42 | 태그 주소 |
…posts-page-1.xml |
39 | 고정 페이지 주소 |
목차를 653번 읽는 동안 글 목록까지 내려간 것은 47번입니다. 나머지는 입구에서 「바뀐 게 있나」만 확인하고 돌아갔다는 뜻입니다. 사이트맵 최상위 파일은 하위 파일의 갱신 시각을 담고 있으니, 거기만 읽어도 갱신 여부는 알 수 있습니다. 비용이 가장 싼 확인을 반복하고 있는 것입니다.
넓게 보는 봇과 좁게 파는 봇
같은 숫자를 글당 횟수로 바꿔 보면 봇의 성격이 갈립니다.
구글봇은 스물다섯 편만 보고 3.3번씩 가져갔다
29일 동안 구글봇이 가져간 글은 여든세 번인데, 서로 다른 글은 스물다섯 편뿐입니다. 번호 주소 백 개 중 4분의 1입니다. 나머지는 한 번도 열지 않았습니다. 대신 본 것은 평균 3.32번씩 다시 가져갔습니다. 사이트맵은 스물아홉 날 동안 다섯 번만 읽었습니다. 목차를 거의 보지 않으면서 자기가 고른 소수의 글만 되풀이해 확인하는 모양입니다.
GPTBot은 여든한 편을 한 번씩 가져갔다
반대쪽이 GPTBot입니다. 글 요청 118번에 서로 다른 글 여든한 편, 글당 1.46번입니다. 열두 종 중 가장 넓게 봤습니다. 사이트맵은 예순 번 읽었습니다. ClaudeBot은 중간인데 특이한 쪽이 사이트맵입니다. 글 148번보다 사이트맵 318번이 많습니다. 글을 한 번 가져가는 동안 목차를 두 번 읽은 셈입니다.
Applebot은 사이트맵을 일곱 번만 읽고 글을 120번 가져갔습니다. 목차를 안 보고 글만 가져가는 쪽입니다.
사라진 번호를 열여덟 번 두드렸다
번호 주소 중 404가 돌아온 요청이 열여덟 건입니다. Applebot이 열한 건, bingbot이 일곱 건입니다. 10월 28일에 내린 글들의 번호입니다. 둘 다 내리기 전에 그 글들을 가져갔던 봇입니다.
나머지 열 종은 404를 한 번도 받지 않았습니다. 내려간 주소를 다시 확인하러 오는 봇과 한 번 받아 간 뒤 다시 오지 않는 봇이 갈리는데, 돌아오는 쪽이 사라진 주소를 먼저 알게 됩니다.
안 가져간 글은 네 편뿐이었다
번호 백 개 중 아무 봇도 가져가지 않은 것은 네 개입니다. 그중 셋은 비공개라 밖에서 열 수 없는 글이고, 하나는 측정이 끝나기 일곱 시간 전에 올린 글입니다. 밖에서 열리는 글 아흔여섯 편은 전부 적어도 한 봇이 가져갔습니다.
수집은 빠짐없이 됩니다. 수집된 것이 검색 결과나 AI 답변에 쓰였는지는 로그로 알 수 없습니다. 로그가 말해 주는 것은 「받아 갔다」까지입니다. 같은 글을 서른한 번 가져간 크롤러를 셀 때도 같은 한계에 걸렸습니다.
llms.txt 는 0이었다
이 사이트는 /llms.txt를 내고 있고, robots.txt 안에 그 위치를 주석으로 적어 두었습니다. 29일 동안 열두 종 중 그 파일을 요청한 봇은 없습니다. 0건입니다.
그 파일이 200으로 나간 것은 마흔세 번인데, 스물세 번은 사이트 정보를 수집하는 상업 크롤러와 브라우저를 자칭한 요청이고 스무 번은 제가 확인하려고 직접 보낸 것입니다. AI 봇을 위해 만든 파일을 읽은 쪽에 AI 봇은 없었습니다.
말할 수 없는 것
봇 이름은 요청에 적혀 온 글자일 뿐입니다. 공개된 IP 대역과 맞춰 보지 않았으므로 위조가 섞여 있을 수 있습니다. 이 글의 숫자는 「그 이름을 적고 온 요청」의 수입니다.
번호 주소는 두 블로그가 번호 공간을 나눠 쓰기 때문에 같은 번호가 양쪽에 있을 수 있습니다. 그래서 봇별 숫자는 두 블로그를 합친 값이고, 어느 쪽 글을 가져갔는지는 가르지 않았습니다. 사이트맵도 세 도메인이 같은 경로를 쓰므로 합친 값입니다.
29일은 봇의 주기를 담기에 넉넉하지 않습니다. 구글봇이 스물다섯 편만 본 것도 「스물다섯 편만 보는 봇」이 아니라 「이 29일 창에서는 스물다섯 편이었다」입니다.
자주 묻는 것
주별로 센 고유 글 수를 더하면 안 됩니까
처음에 그렇게 했다가 틀렸습니다. 주마다 고유 글 수를 센 뒤 네 주를 더했더니 GPTBot이 117편으로 나왔는데, 번호 주소가 백 개뿐이므로 나올 수 없는 값입니다. 같은 글을 2주와 4주에 각각 가져갔으면 주별로는 두 번 세어집니다. 고유 수는 창 전체에서 한 번만 세야 합니다. 그래서 집계를 봇 이름과 글 번호의 짝으로 뽑아 놓고, 마지막에 한 번 중복을 없앴습니다.
목차를 많이 읽는 것은 좋은 신호입니까
이 측정으로는 알 수 없습니다. 목차를 자주 읽는다는 것은 「갱신을 자주 확인한다」는 뜻이지 「글을 더 가져간다」는 뜻이 아닙니다. 실제로 사이트맵을 가장 많이 읽은 ClaudeBot보다 사이트맵을 일곱 번만 읽은 Applebot이 글은 더 적게 가져갔고, 사이트맵을 다섯 번만 읽은 구글봇은 가장 좁게 봤습니다. 목차 요청 수와 글 요청 수 사이에 방향이 보이지 않습니다.
봇 이름이 적혀 있지 않은 요청은 어떻게 했습니까
세지 않았습니다. 이 글은 이름을 적고 온 열두 종만 다룹니다. 브라우저를 자칭한 요청 중에도 봇이 섞여 있지만, 가려낼 방법이 없어 빼 두었습니다. 그래서 여기 적힌 674번과 653번은 전체가 아니라 이름을 밝힌 쪽의 하한입니다.

댓글 0