NVIDIA ha presentado la nueva Plataforma de Seguridad para Agentes Abiertos, una iniciativa destinada a evitar que los agentes de IA autónomos “escapen” de sus límites establecidos y actúen fuera de su alcance previsto. En respuesta a informes recientes sobre incidentes de seguridad impulsados por IA, la compañía subraya que la seguridad no debe depender únicamente de salvaguardas integradas en los modelos y aplicaciones, sino que deben añadirse controles a nivel de hardware y de cómputo para crear barreras más sólidas.
La empresa afirma que esta estrategia busca proporcionar herramientas abiertas y personalizables para organizaciones, con el objetivo de fortalecer la evaluación, la colaboración y la gobernanza en el ámbito de la IA. Open Agent Safety Platform se compone de dos controles clave: OpenShell, descrito como un límite de ejecución seguro basado en software, y Sentry, un “ watchdog ” de hardware que opera sobre los DPUs BlueField-4. Según NVIDIA, estos componentes trabajan de forma complementaria para garantizar que los agentes respeten las instrucciones y límites predefinidos.
El CEO Jensen Huang resume el enfoque destacando que la seguridad y la protección requieren una ingeniería de pila completa, y que esta plataforma reúne a la industria, a investigadores y a organizaciones del sector público para compartir buenas prácticas, alinear métodos de evaluación y fomentar la cooperación internacional.
A diferencia de las salvaguardas a nivel de modelo, que advierten a un IA no comportarse de cierta manera, OpenShell establece límites técnicos que evitan que un agente ignore esas directrices. Además, NVIDIA sostiene que Sentry tiene la capacidad de aislar y detener un agente en cuestión de milisegundos.
Más de 100 clientes ya participan en este enfoque, entre los que se destacan SpaceXAI, Anthropic y Microsoft, que ya emplean las salvaguardas basadas en software y hardware de NVIDIA.
Estos anuncios llegan tras varios casos de alto perfil en los que agentes de IA operaron más allá de sus controles previstos. Aunque estas salvaguardas nacen con una propuesta nueva, los principios subyacentes ya eran conocidos: privilegio mínimo, aislamiento/cuaranetado y monitoreo detallado.
“Conforme seguimos explorando la frontera de las capacidades de la IA, debemos acelerar el progreso en la seguridad de la IA”, comentó Huang.
Esta iniciativa se complementa con un compromiso público hacia prácticas responsables y el desarrollo de estándares que faciliten la cooperación entre sectores para una IA más segura y confiable.
from Latest from TechRadar https://ift.tt/k8cXUBz
via IFTTT IA
