Durante años, la ciberseguridad se basó en una suposición simple: los sistemas siguen reglas definidas. Las aplicaciones cumplen con lo programado, mientras las personas inician sesión, obtienen permisos y acceden a los recursos necesarios. La inteligencia artificial (IA) está cambiando eso.

Con casi la mitad de los compradores de soluciones de ciberseguridad esperando que la IA esté integrada a lo largo de la pila de ciberseguridad en tres años, las organizaciones ya no se concentran únicamente en proteger las aplicaciones y los derechos de acceso. También deben asegurar sistemas inteligentes que pueden tomar decisiones, interactuar con los usuarios y actuar de forma autónoma.

La IA puede apoyarse en modelos, instrucciones, contexto y herramientas externas para entender un objetivo, tomar decisiones y determinar la mejor forma de alcanzarlo.

A medida que las organizaciones otorgan a estos sistemas agentes mayor autonomía en los flujos de trabajo empresariales, las consecuencias de una falla se extienden más allá de generar una respuesta incorrecta. Un error puede interrumpir procesos de negocio, influir en decisiones y activar acciones no deseadas en sistemas conectados.

Una superficie de ataque expandida

Mayor autonomía crea nuevos puntos de vulnerabilidad cuando la IA tiene acceso a datos, sistemas y herramientas externas. Las amenazas, como atacantes que manipulan la información que la IA recibe o que se hacen pasar por usuarios de confianza, pueden alterar cómo responde o qué acciones toma. Esto podría llevar a que un agente de IA recupere información inexacta o apruebe acciones no autorizadas.

Los controles tradicionales de ciberseguridad fueron diseñados para humanos y aplicaciones, pero los agentes autónomos no encajan fácilmente en ninguna de las dos categorías. Por tanto, la seguridad debe extenderse a lo largo de todo el ciclo de vida de la IA: antes de su puesta en marcha, durante la operación y en cada punto donde la IA aprende, decide y actúa.

Las organizaciones necesitan una arquitectura de seguridad unificada que proporcione visibilidad y controles consistentes tanto para IA como para sistemas tradicionales, lo que facilita identificar amenazas, aplicar políticas y responder rápidamente ante incidentes.

Confiando en la IA de forma segura

No obstante, una arquitectura unificada es solo parte de la solución. Las empresas deben garantizar que los agentes de IA sean fiables. Al igual que cualquier usuario o sistema de confianza, los agentes de IA deben tener una identidad verificable, un acceso a datos y sistemas estrictamente controlado y registros audibles de sus acciones.

Sin estas salvaguardas, las organizaciones corren el riesgo de crear sistemas de IA que pueden eludir controles de seguridad y cumplimiento debido a fallos de diseño, más que a intención maliciosa. La seguridad no debe detenerse una vez que se despliega un sistema de IA. A diferencia del software tradicional, los sistemas de IA aprenden de nuevos datos, operan en contextos cambiantes y pueden comportarse de forma distinta con el tiempo.

Por ello, las organizaciones requieren monitorización continua para asegurar que los agentes permanezcan dentro de los límites definidos y que las políticas se apliquen de forma constante. Esto incluye una clara asignación de propietarios, rutas de escalamiento y interruptores de emergencia que puedan contener o detener a un agente que se comporte de forma inesperada. Algunas organizaciones están empezando a usar «guardianes» que monitorizan a otros agentes de IA y señalan comportamientos inusuales.

El nivel de supervisión debe reflejar el nivel de riesgo. Los agentes de IA que ejecutan tareas de bajo impacto pueden operar con mayor autonomía, mientras que actividades de mayor riesgo —como actualizar datos de clientes, aprobar transacciones financieras o interactuar con sistemas de producción— deben contar con salvaguardas más fuertes. Aplicar controles en proporción al riesgo permite capturar los beneficios de la IA manteniendo la seguridad, el cumplimiento y la confianza.

El contexto como frontera de seguridad

Proteger la IA también implica asegurar la información de la que depende. El contexto otorga poder a los agentes; incluye documentos internos, información de clientes, reglas de negocio e interacciones previas, ayudando a los agentes a entender una tarea y decidir qué hacer a continuación. Esto también convierte al contexto en una nueva frontera de seguridad. Si la información de la que depende la IA es inexacta o ha sido manipulada deliberadamente, las decisiones que tome pueden ser incorrectas, incluso si el modelo subyacente funciona como se espera. Esto se conoce como intoxicación de contexto.

Para protegerse, es necesario controlar qué puede ver la IA, así como lo que puede hacer. Los agentes deben tener acceso únicamente a los datos y sistemas necesarios para una tarea específica. Por ejemplo, un asistente de IA que responde a preguntas de empleados no debería tener el mismo nivel de acceso que uno autorizado para aprobar pagos.

Los guardianes deben ir más allá de filtrar salidas y extenderse a proteger la integridad de la información que IA utiliza, asegurando que sea precisa, esté actualizada y sea adecuada para la tarea.

Gobernanza a escala

Los controles técnicos son más eficaces cuando van acompañados de una gobernanza efectiva. Esto requiere un enfoque conjunto que integre IA y sistemas tradicionales, con controles consistentes en toda la empresa.

Las organizaciones deben definir también dónde se requiere intervención humana y quién es responsable de las decisiones que realizan los modelos. La supervisión debe centrarse en las actividades que conllevan el mayor riesgo operativo, financiero o regulatorio, respaldada por la inversión en habilidades necesarias para gobernar la IA de forma eficiente y mantener la confianza en los sistemas autónomos.

El camino a seguir

En última instancia, garantizar la seguridad de la IA implica más que proteger sistemas de ataques. Las organizaciones necesitan las soluciones técnicas adecuadas, una propiedad clara y una supervisión continua a lo largo del ciclo de vida de la IA. La confianza depende de que estos elementos funcionen juntos.

Las organizaciones que tengan éxito con la IA no serán necesariamente las que vayan más rápido, sino las que la escalen de forma segura y responsable. La pregunta para los líderes ya no es si confiar en la IA, sino si están construyendo sistemas que merezcan ser confiables.

Este artículo forma parte de TechRadar Pro Perspectives, nuestro canal para presentar a las mentes más brillantes de la industria tecnológica actual.

Las opiniones expresadas aquí son del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, conozca más aquí: https://www.techradar.com/pro/perspectives-how-to-submit

from Latest from TechRadar https://ift.tt/NkgouKP
via IFTTT IA