32초에 스무 편을 가져가고 다시 오지 않았습니다

2026년 10월 28일 저녁 8시 21분에 이 블로그의 주소 23개가 한꺼번에 사라졌습니다. 글을 지운 것은 아니고 공개 상태만 바꿨습니다. 어제까지 200을 주던 주소가 그 시각부터 404를 주기 시작했습니다. 같은 사이트의 나머지 글은 그대로 두었습니다. 크롤러 쪽에서 보면 같은 서버, 같은 사이트의 주소 중 한 묶음만 갑자기 없어진 셈입니다.

이런 전환이 한 시점에 고정되면 비교할 것이 생깁니다. 전환 전 5일과 전환 후 5일에 각 크롤러가 그 주소들을 몇 번 요청했는지, 사라진 것을 알아챈 쪽이 누구이고 모르는 쪽이 누구인지 로그로 셀 수 있습니다. 같은 사이트에 남겨 둔 주소들이 대조군이 됩니다. 같은 글을 서른한 번 가져가는 크롤러를 셀 때 쓴 로그를 그대로 다시 열었습니다.

스무 편을 가져가는 데 32초가 걸렸습니다

먼저 전환 전 5일 동안 그 22개 주소를 누가 가져갔는지 봤습니다. 응답은 전부 200입니다.

크롤러	요청	가져간 주소	언제
GPTBot	20	20	10/23 15:53:09 ~ 15:53:41
Mediapartners-Google	17	17	10/24 15:18 ~ 16:34
SemrushBot	14	14	10/23 ~ 10/25
Applebot	8	8	10/23 ~ 10/24
AhrefsBot	4	4	10/27 22:16 ~ 23:31
그 밖의 상업 크롤러	46	22	10/23 ~ 10/27
Googlebot	0	0	—
bingbot	0	0	—

GPTBot 쪽 시각을 다시 보면 32초 동안 스무 편입니다. 초당 한 편에 가까운 속도로 쓸고 지나갔고, 그 5일 안에 다시 오지 않았습니다. 하루에 몇 편씩 나눠 가져가는 방식이 아니라 한 번에 목록을 받아 훑는 방식입니다. Mediapartners-Google은 광고를 붙일 자리를 확인하는 크롤러인데 10월 24일 한 시간 남짓 동안 17편을 받아 갔습니다.

구글 검색 쪽 크롤러와 빙 쪽 크롤러는 그 22개 주소를 5일 동안 한 번도 요청하지 않았습니다. 이것이 뒤에서 다시 나옵니다.

어떻게 셌는가

로그는 회전 보관된 파일과 살아 있는 파일을 함께 읽었습니다. 살아 있는 파일은 계속 자라므로 날짜 경계로 창을 잘라 고정했습니다.

창 A (전환 전)  2026-10-23 00:00 ~ 10-28 00:00  5일
전환            2026-10-28 20:21  주소 23개가 200 → 404
창 B (전환 후)  2026-10-29 00:00 ~ 11-03 00:00  5일

전환이 일어난 10월 28일 하루는 어느 창에도 넣지 않았습니다. 그날은 앞뒤가 섞이기 때문입니다. 그래서 창 사이에 24시간의 빈자리가 있습니다.

이 서버의 아파치 로그에는 어느 도메인으로 들어온 요청인지 적히지 않습니다. 글 주소가 /번호/ 꼴인데 번호는 사이트마다 따로 매겨지므로, 다른 사이트에도 같은 번호가 있으면 어느 쪽 요청인지 가를 수 없습니다. 그래서 번호가 겹치지 않는 것만 남겼습니다. 사라진 23개 중 22개, 남겨 둔 30개 중 27개가 여기 해당합니다. 나머지는 셈에서 빼고 숫자에 넣지 않았습니다.

크롤러 구분은 User-Agent 문자열의 토큰만 썼습니다. 접속 IP를 역조회해서 사칭을 걸러 내는 작업은 하지 않았습니다.

주소가 사라진 것을 안 크롤러는 셋이었습니다

전환 뒤 5일 동안 같은 22개 주소에 온 요청입니다. 응답은 전부 404입니다.

크롤러	404를 받은 요청	주소	언제
SemrushBot	8	8	10/30 1건, 10/31 7건
DotBot	4	3	10/29 3건, 10/30 1건
bingbot	3	3	10/29 1건, 11/02 2건
GPTBot	0	0	—
Mediapartners-Google	0	0	—
Applebot	0	0	—
AhrefsBot	0	0	—
Googlebot	0	0	—

봇이 받은 404는 5일 동안 15건입니다. 그 밖에 브라우저처럼 보이는 User-Agent로 온 요청이 3건 있었는데 봇으로 세지 않았습니다.

전환 전에 그 주소들을 가져갔던 크롤러는 다섯 종류였습니다. 그중 전환 뒤에 다시 물어본 것은 SemrushBot 하나뿐입니다. GPTBot은 32초에 스무 편을 가져갔는데 그 스무 편이 사라진 것을 5일 동안 확인하지 않았습니다. 광고 크롤러도, 애플 쪽 크롤러도, Ahrefs도 다시 오지 않았습니다.

반대 방향도 있습니다. bingbot과 DotBot은 전환 전 5일 동안 그 22개 주소를 한 번도 가져가지 않았는데, 전환 뒤에 와서 404를 받았습니다. 가져간 적이 없는 쪽이 없어진 것을 먼저 알게 되는 구조입니다.

가장 많이 가져간 쪽이 가장 늦게 압니다

두 표를 겹쳐 보면 순서가 거꾸로입니다. 전환 전에 가장 많이 가져간 GPTBot(20건)과 광고 크롤러(17건)가 404를 받은 횟수는 0건입니다. 전환 전에 네 건만 가져간 AhrefsBot도 0건입니다. 정작 404를 가장 많이 받은 SemrushBot은 전환 전 14건으로 세 번째였습니다.

이 차이는 품질 판정이 아니라 재방문 주기로 보입니다. 한 번 훑고 오래 안 오는 크롤러는 그 사이에 무엇이 바뀌어도 모릅니다. 짧은 주기로 돌며 자기 목록을 갱신하는 크롤러는 금방 압니다. 그래서 글을 내렸을 때 “크롤러가 알게 되는 시점”은 하나가 아니고, 크롤러마다 며칠씩 벌어집니다.

구글봇은 숨기기 전부터 고르고 있었습니다

구글봇은 양쪽 창 모두에서 그 22개 주소를 요청하지 않았습니다. 사라졌기 때문에 안 온 것이 아닙니다. 있을 때도 가져가지 않았습니다.

이 서버 전체에서 /번호/ 꼴 주소에 온 구글봇 요청을 날짜별로 세면 이렇습니다.

날짜	요청	폭주 길이	어느 쪽을 가져갔나
10/24	19	19:55:57 ~ 20:08:40 (13분)	남겨 둔 쪽 17편
10/29	21	03:08:49 ~ 03:18:15 (10분)	남겨 둔 쪽 19편
11/02	1	—	—

10월 20일부터 11월 3일까지 보름 중 글 주소에 구글봇이 온 날은 사흘입니다. 그리고 올 때는 10분에서 13분 사이에 스무 편 가까이를 몰아서 받아 갑니다. GPTBot의 32초보다는 느리지만 이쪽도 하루에 나눠 오는 방식이 아닙니다.

중요한 것은 두 번의 폭주가 모두 남겨 둔 주소 쪽만 가져갔다는 점입니다. 10월 24일은 아직 22개 주소가 살아 있던 날입니다. 그날 구글봇은 사이트 안에서 고를 수 있었고, 한쪽을 골랐습니다. 10월 29일에 다시 와서 19편을 받아 갔는데 그 19편은 전부 남겨 둔 쪽입니다.

애드센스 크롤러는 사흘 만에 끊겼습니다

광고 쪽 크롤러는 다르게 움직였습니다. 서버 전체 요청 수를 날짜별로 보면 10월 24일 264건, 10월 28일 268건, 10월 29일 55건, 10월 31일 38건, 11월 3일 39건입니다. 사라지지는 않았고 횟수가 7분의 1로 줄었습니다.

그런데 이 블로그의 글 주소만 떼어 놓고 보면 창 A에 42건이 전부 10월 24일 하루에 몰려 있고, 창 B에는 0건입니다. 10월 28일에 서버 전체로 268건이 있었는데 그중 이 블로그 글로 온 것은 없습니다. 다른 사이트로 간 것입니다. 왜 그렇게 갈렸는지는 로그에 적히지 않습니다.

남은 글 쪽 요청은 늘었지만 원인은 다릅니다

대조군으로 둔 27개 주소는 요청이 늘었습니다. 창 A 113건에서 창 B 148건입니다. 주소 수를 줄였으니 남은 쪽에 더 왔다고 읽고 싶어지는데, 늘어난 분량을 열어 보면 그렇게 말하기 어렵습니다.

창 B에서 늘어난 것은 거의 전부 전환 전에 보이지 않던 크롤러들입니다. QlyzeBot 32건, ElevenlabsCrawler 27건, DataForSeoBot 27건, MJ12bot 2건입니다. 이 넷의 합이 88건이고, 같은 묶음이 창 A에서는 37건이었습니다. 새 상업 크롤러가 들어온 것과 주소를 줄인 것이 같은 주에 겹쳤습니다.

구글봇은 17편에서 19편으로, GPTBot은 7건에서 12건으로 늘었습니다. 늘긴 했지만 두 창이 각각 5일이고 구글봇은 그 안에 한 번씩만 왔으므로, 한 번의 폭주에서 두 편을 더 가져간 차이입니다. 사람이 AI를 멈춰 세우는 시점을 셀 때와 같은 문제가 여기도 있습니다. 변화가 보이는 것과 그 변화의 원인을 아는 것은 다릅니다.

이 숫자가 말하지 못하는 것

창이 5일씩입니다. 재방문 주기가 5일보다 긴 크롤러는 404를 받을 기회 자체가 없었습니다. 그러니 “다시 묻지 않았다”는 “앞으로도 안 온다”가 아니고 “5일 안에는 오지 않았다”입니다. GPTBot이 6일째에 올 수도 있습니다.

사이트맵 파일은 세 도메인이 같은 경로를 쓰므로 어느 사이트의 사이트맵을 읽은 요청인지 가를 수 없습니다. 그래서 각 크롤러가 목록을 다시 받아 갔는지는 셈에 넣지 못했습니다. 404를 받은 쪽이 목록을 보고 온 것인지 자기 기록을 보고 온 것인지도 구분하지 못합니다.

404로만 재 봤습니다. 410을 주면 더 빨리 반영된다는 이야기가 있지만 이번 전환은 404 하나뿐이어서 비교할 짝이 없습니다.

User-Agent 토큰만 믿었습니다. bingbot은 앞쪽 문자열이 다른 변종이 섞여 있어 토큰으로 묶었고, 브라우저처럼 보이는 3건은 봇으로 세지 않았습니다. 이 3건이 실제로 크롤러였다면 404를 받은 쪽이 셋이 아니라 더 많습니다.

다시 잴 것

2026년 11월 18일에 같은 도구로 다시 셉니다. 전환 뒤 3주가 되는 시점입니다. 네 가지를 봅니다.

첫째, GPTBot과 광고 크롤러가 끝내 404를 받는지, 받는다면 전환으로부터 며칠 뒤인지입니다. 둘째, SemrushBot이 404를 여덟 번 받은 뒤에도 계속 그 주소를 찾아오는지, 아니면 목록에서 빼는지입니다. 셋째, 구글봇의 폭주 간격이 5일로 유지되는지입니다. 넷째, 새로 들어온 상업 크롤러 넷이 남는지 사라지는지입니다.

자주 묻는 것

404와 410 중 어느 쪽이 빨리 반영됩니까

이 측정으로는 답할 수 없습니다. 전환을 404 하나로만 했기 때문에 비교할 짝이 없습니다. 둘을 가르려면 같은 날 같은 크롤러가 오는 주소를 두 묶음으로 나눠 한쪽은 404, 한쪽은 410을 주고 같은 길이의 창으로 세야 합니다. 그 설계로 다음에 재 볼 것입니다.

글을 내리면 검색 결과에서는 얼마나 뒤에 빠집니까

여기서는 알 수 없습니다. 구글봇이 그 22개 주소에 404를 받은 횟수가 0건이기 때문입니다. 색인에서 빠지는 시점을 로그로 보려면 먼저 그 크롤러가 404를 받아야 하는데, 받은 기록이 없으면 셀 것이 없습니다. 애초에 가져간 적도 없는 주소라면 더 그렇습니다.

크롤러를 어떻게 가렸습니까

User-Agent 문자열에 들어 있는 이름 토큰만 봤습니다. IP 역조회로 사칭을 걸러 내지 않았습니다. 이 글의 결론은 “요청이 오지 않았다” 쪽이라 사칭을 걸러 내면 숫자가 더 줄어드는 방향이고, 결론이 뒤집히지는 않습니다. 반대로 “404를 받았다” 쪽 숫자는 사칭이 섞여 있으면 줄어듭니다.