HDRN
REFERENCEAEO·GEO 공식 문서 검토

POLICY SIMULATOR · 검색 노출과 모델 학습 목적을 분리해 크롤러 정책을 설계합니다.

검수 HDRN Policy Review읽기 9분
Who should read

누가 읽어야 하나

ChatGPT·Google AI 검색 노출을 준비하는 웹사이트 운영자, 보안·플랫폼·마케팅 담당자

Method

어떻게 확인했나

OpenAI와 Google의 운영 주체 공식 문서에서 검색 노출에 직접 관련된 요구를 분리하고, robots 선언뿐 아니라 CDN·WAF·메타 robots까지 포함한 실제 접근 경로를 검수합니다.

Primary evidence

Discovery ≠ Training

정책 기준

Policy simulator

ChatGPT에 우리 회사가 나오게 하려면 어떤 크롤러를 허용해야 할까?

검색 노출, 모델 학습, Google AI 기능은 같은 허용값이 아닙니다. 목적과 크롤러를 분리해야 정책 문장이 실제 결정이 됩니다.

ChatGPT 검색에서 공개 페이지가 발견되고 인용 후보가 되려면 OAI-SearchBot 접근을 확인해야 합니다. Google AI Overviews와 AI Mode는 기존 Googlebot과 검색 색인을 사용합니다. 모델 학습 목적의 GPTBot은 별도로 결정할 수 있습니다. robots.txt만 보지 말고 CDN·WAF가 해당 크롤러에 실제로 200 응답을 주는지도 확인하세요.

Build your policy

검색과 학습을 따로 선택하세요.

ROBOTS.TXT PREVIEWLIVE
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Purpose map

허용 여부가 보장하는 것과 보장하지 않는 것

발견 가능성

접근 허용은 인용의 필요조건일 수 있지만 실제 수집과 인용을 보장하지 않습니다.

모델 학습

검색 노출과 별개의 정책 결정입니다. 법무·보안·데이터 정책과 함께 정합니다.

실제 응답

robots.txt 뒤에서 CDN·WAF가 403을 반환하면 공개 정책과 실제 접근이 어긋납니다.

Deploy check

배포 후에는 로그로 실제 200 응답을 확인합니다.

정책 파일, CDN, WAF, 원 서버 로그를 같은 요청 단위로 확인하고 변경일을 기록해야 노출 변화의 원인을 되짚을 수 있습니다.

Follow-up questions

판단 전에 남는 질문

아닙니다. 접근 허용은 발견과 요약·인용 후보가 되기 위한 조건 중 하나일 뿐입니다. 실제 수집과 인용은 보장되지 않습니다.

Before you apply

  • 크롤러 명칭과 정책은 변경될 수 있으므로 실제 적용 전에 각 운영 주체의 최신 공식 문서를 다시 확인해야 합니다.
  • 접근 허용은 수집·색인·인용을 보장하지 않으며, 법률 자문을 대신하지 않습니다.

참고 자료

편집·검증 정책
전체 리서치 보기크롤러 정책 검토 요청