Crawler watch

크롤러 관찰

블로그 접속 로그로 AI 크롤러와 검색 크롤러가 실제로 어떻게 글을 가져가는지 봅니다. 관찰한 행동, 로그 읽는 순서, User-Agent 판별기를 모았습니다.

Observed

관찰한 행동

이 블로그 접속 로그에서 직접 본 행동입니다.

01

목차만 반복해 읽는 봇

글보다 목록 · 목차 쪽을 여러 번 읽어 갑니다.

관찰 기록
02

짧은 시간에 여러 편, 다시 오지 않음

몇십 초 사이에 여러 글을 가져가고 그 뒤로 오지 않았습니다.

관찰 기록
03

같은 글을 반복해 가져가는 봇

바뀌지 않은 글을 여러 번 다시 요청합니다.

관찰 기록

Order

로그 읽는 순서

이름보다 행동을 봅니다.

  1. 01

    User-Agent 모으기

    요청마다 적힌 이름을 모아 셉니다.

  2. 02

    IP 대역 확인

    공식 IP 목록이나 역방향 DNS 로 진짜인지 봅니다.

  3. 03

    요청 간격 보기

    몇 초 간격으로 오는지, 몰아서 오는지 봅니다.

  4. 04

    요청 경로 보기

    글 · 목록 · 이미지 중 무엇을 가져가는지 봅니다.

  5. 05

    다시 오는지 보기

    같은 글을 언제 다시 가져가는지 봅니다.

Criteria

크롤러 구분 기준

이름만으로는 진짜인지 알 수 없습니다.

구분예진짜 확인robots.txt
검색 크롤러Googlebot, Bingbot, Yeti(네이버), Daum역방향 DNS · 공식 IP따름
AI 학습 크롤러GPTBot, ClaudeBot, CCBot, Bytespider회사가 공개한 IP 목록대부분 따름
AI 검색 · 답변OAI-SearchBot, PerplexityBot, ChatGPT-User회사가 공개한 IP 목록회사마다 다름
이름 없는 봇브라우저인 척하는 요청요청 간격 · 경로로 추정따르지 않음

회사별 공개 여부와 규칙은 바뀔 수 있습니다.

Tool

User-Agent 판별기

접속 로그 줄이나 User-Agent 를 붙여 넣으면 알려진 크롤러를 이름 · 회사 · 용도로 나눠 셉니다. 이름은 꾸밀 수 있으니 IP 확인이 따로 필요합니다.

붙여 넣은 내용은 이 브라우저 안에서만 셉니다.

전체 줄
0줄
알려진 크롤러
0줄
그 밖
0줄
  • 붙여 넣으면 크롤러별로 나옵니다0

Checklist

대응할 때 확인 목록

막기 전에 확인합니다.

  • 검색엔진 봇을 막지 않았는지Googlebot · Yeti 를 막으면 검색에서 빠집니다
  • robots.txt 와 실제 차단의 차이robots.txt 는 부탁일 뿐, 따르지 않는 봇은 서버에서 막습니다
  • 서버 부하막을 만큼 부하가 큰지 먼저 잽니다
  • 기록 보관막기 전과 뒤의 로그를 남겨 비교합니다

FAQ

크롤러 자주 묻는 질문

AI 크롤러를 막아야 하나요?

글이 AI 답변에 인용되기를 원하면 AI 검색 크롤러는 열어 두고, 학습용만 막는 방법도 있습니다. 목적에 따라 정하세요.

이름을 속인 봇은 어떻게 가리나요?

역방향 DNS 와 회사가 공개한 IP 목록으로 확인합니다. 맞지 않으면 이름과 상관없이 다른 봇으로 봅니다.

로그는 어디서 보나요?

호스팅 제어판의 접속 로그나 서버의 웹서버 로그 파일을 봅니다. 볼 수 없다면 호스팅사에 문의하세요. 이 블로그에 대한 질문은 문의하기로 받습니다.