ChatGPT에 우리 회사가 나오게 하려면 어떤 크롤러를 허용해야 할까?

먼저 두 이름만 구분하면 됩니다

크롤러는 웹페이지를 읽으러 오는 프로그램입니다. OpenAI는 ChatGPT 검색을 위한 OAI-SearchBot과 모델 학습에 쓰일 콘텐츠를 수집하는 GPTBot을 따로 안내합니다. 이름이 비슷해도 홈페이지 운영자가 결정하는 내용은 다릅니다.

공식 자료 / ChatGPT 검색용

검색에 보이고 싶다면 OAI-SearchBot부터

OpenAI 공식 문서 · 검색용 크롤러의 첫 설명

OpenAI 공식 크롤러 문서의 OAI-SearchBot 설명으로 ChatGPT 검색에 사이트를 표시하는 목적임을 안내

1. 01
   용도

   ChatGPT 검색용 수집

2. 02
   개발사에 물어볼 것

   우리 공개 페이지에서 차단하고 있나요?

개발사에 검색 노출을 위한 접근 확인을 요청한다면 OAI-SearchBot을 명시하면 됩니다. GPTBot까지 허용할지는 별도 문제입니다. ‘검색은 원하지만 학습용 수집은 허용하지 않는다’는 방침이라면 두 설정을 나눠 검토해 달라고 요청할 수 있습니다.

공식 자료 / OpenAI 학습용

GPTBot은 학습용 수집을 따로 결정할 때

OpenAI 공식 문서 · GPTBot 항목

OpenAI 공식 문서의 GPTBot 설명으로 생성형 AI 기초 모델 학습에 사용될 수 있는 콘텐츠를 수집한다고 안내

1. 01
   용도

   OpenAI 모델 학습에 쓰일 콘텐츠 수집

2. 02
   회사가 정할 것

   검색과 별개로 학습용 수집을 허용할지

방문 기록에서 ChatGPT-User라는 이름을 보더라도 혼동할 필요는 없습니다. 이용자가 페이지를 읽어달라고 요청하는 등의 동작에 쓰이는 이름입니다. 검색용 자동 수집 설정을 확인할 때는 OAI-SearchBot을 기준으로 봅니다.

우리 사이트에서는 어디를 확인할까요?

홈페이지의 첫 주소 뒤에 /robots.txt를 붙여보세요. HDRN이라면 https://hdrn.kr/robots.txt입니다. 아래 파일에서는 OAI-SearchBot과 GPTBot이 함께 적혀 있고 같은 수집 규칙을 따릅니다. 두 용도를 나눠 정한 설정이 아니라, 검색과 학습을 같은 그룹에 둔 사례입니다.

실제 사례 / HDRN의 공개 설정

이 파일에서는 두 이름이 같은 규칙을 따릅니다

2026년 9월 15일 HDRN 공개 robots.txt의 실제 크롤러 그룹. OAI-SearchBot과 GPTBot 등 여러 이름 아래 Allow 규칙이 함께 있음

1. 01
   User-agent

   규칙을 적용할 로봇의 이름

2. 02
   Allow

   수집을 허용하는 주소 경로

자신의 사이트에서 이 두 이름이 보이지 않는다고 곧바로 차단 상태라고 판단하지는 마세요. 여러 로봇에 공통으로 적용되는 규칙이 있을 수 있습니다. 파일이 안 열리거나 규칙이 복잡하다면 주소를 개발사에 보내 실제로 어떤 설정을 따르는지 확인받으면 됩니다.

파일에서 허용했는데도 문제가 생길 수 있습니다. 예를 들어 방문자인 우리에게는 서비스 소개가 보이지만, 로봇에는 ‘접속을 확인하고 있습니다’라는 보안 안내만 보일 수 있습니다. 이 경우에는 글을 고쳐도 로봇이 그 내용을 읽지 못합니다.

설명 도식 / 실제로 읽히는지 확인

개발사에서는 여기까지 확인해야 합니다

1. 01
   규칙

   해당 페이지를 읽어도 되는가

2. 02
   방화벽

   로봇의 접속을 막고 있지는 않은가

3. 03
   받아 간 페이지

   보안 안내 대신 본문이 들어 있는가

여기부터는 마케팅 담당자가 혼자 판단할 필요가 없습니다. 개발사에 해당 페이지의 수집 규칙과 방화벽을 함께 확인해 달라고 요청하세요. 답변에는 설정을 바꿨는지뿐 아니라, 로봇이 받아 간 페이지에 본문이 들어 있는지도 포함돼야 합니다.

개발사에 보낼 요청은 이렇게 정리하세요

‘우리 사이트 전체를 AI에 열어주세요’보다는 고객에게 보여줄 페이지를 정하는 편이 명확합니다. 서비스 소개와 공개 글은 검색에 알리되, 관리자 화면이나 고객 자료는 그대로 보호하는 것입니다.

설명 도식 / 공개와 비공개의 경계

보여줄 페이지와 보호할 자료를 나눕니다

1. 01
   검색에 알릴 것서비스 소개·공개 글

   누구나 읽을 수 있는 페이지

2. 02
   계속 보호할 것관리자·고객 자료

   로그인과 권한이 필요한 정보

robots.txt에 접근하지 말라고 적는 것만으로 비공개 자료가 잠기는 것은 아닙니다. 관리자와 고객 정보는 로그인과 권한 확인으로 보호해야 합니다. 검색 설정을 바꾸는 일과 보안을 해제하는 일은 묶어서 요청하지 않습니다.

아래 요청문에서 페이지 주소와 학습 방침을 채우면 개발사와 이야기를 시작할 수 있습니다. 학습 방침이 아직 정해지지 않았다면 그 항목은 변경하지 말고 현재 상태부터 알려달라고 요청하세요.

작성 예시 / 개발팀에 전달할 내용

페이지 주소와 방침을 채워 전달하세요

1. 01
   확인 요청

   [페이지 주소]를 ChatGPT 검색에 알리려고 합니다. OAI-SearchBot이 이 페이지의 본문을 읽을 수 있는지 수집 규칙과 방화벽을 확인해 주세요.

2. 02
   학습용 수집

   GPTBot은 [허용 / 차단 / 현 상태 유지 후 안내] 방침으로 검토해 주세요. 관리자와 고객 자료의 보호 설정은 유지해 주세요.

3. 03
   완료 후 회신

   확인한 주소·날짜와 본문 접근 결과, 변경한 설정을 알려주세요. 실제 크롤러 방문 기록이 있다면 테스트 결과와 구분해 주세요.

작업 후 ‘허용했습니다’라는 답만 왔다면 확인한 주소와 본문 접근 결과, 그대로 유지한 보안 설정을 알려달라고 요청하면 됩니다. 테스트 요청과 실제 크롤러 방문 기록도 구별해 받아두세요. 문제가 다시 생겼을 때 이전 확인 내용과 비교할 수 있습니다.

Google의 AI 검색도 함께 준비한다면

ChatGPT 검색을 확인한 뒤 Google까지 살펴보려면 이름을 두 개 더 구분하면 됩니다. Google 검색의 AI 개요·AI 모드에는 Googlebot의 검색 접근과 색인 요건이 관련됩니다. 반면 Google-Extended는 일부 Gemini 학습과 답변 근거 이용을 관리하며, Google 검색 포함 여부를 바꾸는 설정은 아닙니다.

설명 도식 / Google에서 구분할 이름

어느 서비스에 보이고 싶은지부터 구분합니다

1. 01
   Google 검색의 AI 기능Googlebot

   검색 수집과 색인 상태 확인

2. 02
   일부 Gemini 학습·답변 근거 이용Google-Extended

   Google이 수집한 콘텐츠의 이용 범위 설정

Google 쪽은 서치콘솔의 URL 검사로 특정 페이지가 검색에 등록돼 있는지 확인할 수 있습니다. 아래는 HDRN 글 한 편의 검사 기록입니다. ‘Google에 등록되어 있음’이라는 문구가 보입니다.

실제 사례 / Google URL 검사

‘Google에 등록됨’과 ‘AI가 인용함’은 다른 결과입니다

2026년 9월 14일 HDRN 검색 누락 진단 글의 실제 URL 검사 결과. URL이 Google에 등록되어 있음과 페이지 색인이 생성됨 표시

1. 01
   이 화면에서 확인

   해당 페이지의 Google 등록 여부

2. 02
   AI 답변에서 확인

   원하는 질문에 그 글이 인용되는지

이 결과로 알 수 있는 것은 해당 페이지의 Google 등록 상태입니다. ChatGPT가 그 글을 인용했는지까지 알려주지는 않습니다. 접근 설정을 마친 뒤에도 원하는 질문의 실제 AI 답변을 따로 살펴봐야 하는 이유입니다. 설정 완료와 노출 확인을 나눠두면 다음에 어디를 확인할지 훨씬 분명해집니다.