Google y Microsoft se han sumado a OpenAI y Anthropic en su compromiso de reconocer una señal común en el archivo robots.txt. La iniciativa busca que los sitios web puedan indicar, con una sola regla, si permiten que su contenido se utilice para entrenar modelos de inteligencia artificial.

Hasta ahora, quienes querían excluir sus páginas debían configurar instrucciones distintas para los rastreadores de cada compañía y, en ocasiones, para varios rastreadores de una misma empresa. Una señal compartida podría reducir esa complejidad y facilitar la tarea de los administradores web.

Sin embargo, el alcance de la medida es más limitado de lo que algunas interpretaciones sugieren. La señal expresa una preferencia sobre el uso del contenido, pero no impide que los bots lo rastreen. Tampoco afecta al material que ya se haya recopilado, y el mecanismo aún no es un estándar formal ni está plenamente implementado por las compañías que lo respaldan.

Un borrador común, con compromisos distintos

La propuesta surge de un borrador presentado ante el Grupo de Trabajo de Preferencias de IA (AIPREF) del Grupo de Trabajo de Ingeniería de Internet (IETF). El mecanismo añade el token __usage_ai-training a un grupo de agentes de usuario en un archivo robots.txt convencional.

El borrador define el entrenamiento como el proceso de modificar los parámetros aprendidos de un modelo generativo. Excluye modelos destinados exclusivamente a tareas como la clasificación o la ordenación. OpenAI, por su parte, ha dicho que respetará la señal para el «entrenamiento generativo fundamental», una descripción que podría ser más estrecha que la definición del documento.

Conviene no confundir una propuesta en desarrollo con un estándar aprobado: el propio IETF identifica el texto como un borrador individual, sin respaldo formal de la organización. Además, expirará el 3 de mayo de 2027 si no se revisa.

Anthropic es la única de las cuatro compañías que afirma haber comenzado a implementar la señal. OpenAI prevé hacerlo durante los próximos meses, aunque no ha anunciado una fecha concreta. Microsoft empezará a respetarla en sus procesos de rastreo el 1 de febrero de 2027, mientras que Google apunta a incorporarla en 2027.

También hay diferencias en la forma en que cada empresa conectará la señal con sus propias herramientas. Google ha indicado que, si un sitio usa el token compartido para excluirse del entrenamiento sin configurar por separado Google-Extended, tratará esa preferencia como si se hubiera bloqueado dicho agente. Como Google-Extended también afecta al uso del contenido para fundamentar respuestas de Gemini, la decisión podría tener consecuencias más amplias que impedir el entrenamiento.

Microsoft plantea una separación más explícita. Adoptará la señal común para el entrenamiento y, además, ofrece una preferencia independiente de «AI Grounding» por página. Así, los sitios pueden limitar ciertos usos de fundamentación sin necesariamente retirar su contenido de productos propios como Copilot.

Meta ha calificado la señal compartida de «paso importante», pero todavía no se ha comprometido a respetarla. La incertidumbre persiste mientras la empresa revisa cambios en las condiciones comerciales que permitirían rastrear sitios vinculados a cuentas empresariales. Aunque eliminó el entrenamiento de los usos enumerados tras las críticas, eso no equivale a una prohibición expresa.

Una preferencia no es una barrera contra el rastreo

La distinción fundamental es sencilla: el token no ordena a los bots que dejen de visitar un sitio. El borrador señala expresamente que no es una instrucción sobre el comportamiento de rastreo. Los bots pueden seguir descargando páginas; la señal solo permite que un rastreador dedicado exclusivamente al entrenamiento omita contenido que no está autorizado a utilizar para ese fin.

Para bloquear el acceso de los rastreadores siguen siendo necesarias las reglas específicas de cada bot que los sitios ya utilizan. Las propias compañías han señalado que esos controles existentes no desaparecerán. En palabras de Microsoft, estas preferencias regulan el uso del contenido, no el acceso de rastreo.

La efectividad también depende de que los rastreadores decidan cumplir. El borrador permite que los acuerdos privados prevalezcan sobre la señal, y robots.txt no es una medida de seguridad: un bot que no la respete puede ignorarla. Por eso, quienes necesiten restringir el acceso de forma más directa pueden considerar medidas técnicas adicionales, como limitar direcciones IP, exigir inicio de sesión o aplicar controles de frecuencia.

Un paso práctico, no una solución definitiva

La adopción de una señal común representa un avance para los sitios que desean comunicar sus preferencias de manera clara a empresas dispuestas a respetarlas. También puede ayudar a dar coherencia a las políticas sobre el uso de contenido en un entorno donde proliferan los rastreadores de IA.

Pero el compromiso es voluntario, las interpretaciones varían y la aplicación todavía está en curso. La señal no recupera el contenido ya recopilado, no bloquea el rastreo y no incluye compensación para los editores y creadores cuyo trabajo se utiliza para entrenar modelos.

Por ahora, una sola línea en robots.txt puede convertirse en una forma más sencilla de expresar una preferencia, pero no en un cerrojo. Su valor dependerá de que las empresas la implementen de forma coherente, de que los rastreadores la respeten y de que las reglas futuras aclaren qué usos cubre.

from Latest from TechRadar https://ift.tt/9RoOhZe
via IFTTT IA