목차만 반복해 읽는 봇
글보다 목록 · 목차 쪽을 여러 번 읽어 갑니다.
관찰 기록Crawler watch
블로그 접속 로그로 AI 크롤러와 검색 크롤러가 실제로 어떻게 글을 가져가는지 봅니다. 관찰한 행동, 로그 읽는 순서, User-Agent 판별기를 모았습니다.
Observed
이 블로그 접속 로그에서 직접 본 행동입니다.
Order
이름보다 행동을 봅니다.
요청마다 적힌 이름을 모아 셉니다.
공식 IP 목록이나 역방향 DNS 로 진짜인지 봅니다.
몇 초 간격으로 오는지, 몰아서 오는지 봅니다.
글 · 목록 · 이미지 중 무엇을 가져가는지 봅니다.
같은 글을 언제 다시 가져가는지 봅니다.
Criteria
이름만으로는 진짜인지 알 수 없습니다.
| 구분 | 예 | 진짜 확인 | robots.txt |
|---|---|---|---|
| 검색 크롤러 | Googlebot, Bingbot, Yeti(네이버), Daum | 역방향 DNS · 공식 IP | 따름 |
| AI 학습 크롤러 | GPTBot, ClaudeBot, CCBot, Bytespider | 회사가 공개한 IP 목록 | 대부분 따름 |
| AI 검색 · 답변 | OAI-SearchBot, PerplexityBot, ChatGPT-User | 회사가 공개한 IP 목록 | 회사마다 다름 |
| 이름 없는 봇 | 브라우저인 척하는 요청 | 요청 간격 · 경로로 추정 | 따르지 않음 |
회사별 공개 여부와 규칙은 바뀔 수 있습니다.
Tool
접속 로그 줄이나 User-Agent 를 붙여 넣으면 알려진 크롤러를 이름 · 회사 · 용도로 나눠 셉니다. 이름은 꾸밀 수 있으니 IP 확인이 따로 필요합니다.
붙여 넣은 내용은 이 브라우저 안에서만 셉니다.
Checklist
막기 전에 확인합니다.
FAQ
글이 AI 답변에 인용되기를 원하면 AI 검색 크롤러는 열어 두고, 학습용만 막는 방법도 있습니다. 목적에 따라 정하세요.
역방향 DNS 와 회사가 공개한 IP 목록으로 확인합니다. 맞지 않으면 이름과 상관없이 다른 봇으로 봅니다.
호스팅 제어판의 접속 로그나 서버의 웹서버 로그 파일을 봅니다. 볼 수 없다면 호스팅사에 문의하세요. 이 블로그에 대한 질문은 문의하기로 받습니다.