En la etapa de la IA agéntica se están aprendiendo lecciones difíciles. Ya no sorprende que los agentes de IA puedan comportarse de manera imprevista o indebida, aunque esto resulta especialmente complejo cuando se mantienen prácticas obsoletas, especialmente en lo que respecta a las políticas de gobernanza.
Si no es posible detener a un agente que actúa incorrectamente antes de que el daño se propague, los protocolos de gobernanza de la IA se reducen a mera documentación; carecen de credibilidad operativa real.
La mayoría de las organizaciones están desplegando agentes a un ritmo superior de lo que tardan en controlarlos y mucho menos, en detenerlos. Según el informe Data and AI Trust Gap de Veeam, el 88% de las empresas utiliza o está probando agentes de IA, pero solo el 40% de los responsables confía en su capacidad para aislar y revertir con precisión un fallo provocado por una IA agéntica.
A pesar de que se está aumentando la inversión en gobernanza de la IA, Gartner prevé que, para 2027, el 40% de las empresas degradará o retirará del servicio agentes de IA debido a deficiencias en la gobernanza que solo se detectan tras producirse incidentes en el entorno de producción.
Algo debe cambiar. Analizar los marcos de gobernanza aplicables a los sistemas de agentes parece ser el primer paso lógico. Pero las normativas regulatorias, en evolución y fragmentadas entre países, no le dan a la capacidad de contención agéntica en tiempo real la atención que requiere.
Más rápido, más preciso
Mientras tanto, a medida que las normativas intentan ponerse al día, la IA maliciosa está reduciendo el tiempo de permanencia de meses y semanas a minutos. El registro de Oso Agents Gone Rogue, un catálogo actualizado de agentes de IA que tuvieron un comportamiento anómalo en entornos de producción, revela varios patrones comunes:
- Los agentes no controlados realizan acciones inseguras o no previstas por iniciativa propia debido a un acceso excesivamente amplio, instrucciones malinterpretadas o decisiones basadas en probabilidades. En cuestión de segundos pueden producirse fugas de datos, cambios que afectan a todo el sistema y borrados de información.
- Los agentes engañados son manipulados por atacantes mediante entradas maliciosas, contenido manipulado o páginas web dañinas. Esto deriva en la filtración de datos, el uso indebido de privilegios o el abuso de herramientas encadenadas.
- Los agentes usados como armas se crean para causar daños. Las backdoors, los flujos de trabajo contaminados y los entornos de entrenamiento hostiles conducen a la creación de bots diseñados para intrusiones dirigidas o para la filtración de datos bajo demanda.
- Independientemente de la categoría de agente malicioso a la que pertenezca una unidad con un comportamiento anómalo, las organizaciones carecen actualmente de los mecanismos de desactivación de emergencia adecuados. Cuando no logran detener a tiempo a un agente de IA malicioso, el recurso que resulta saboteado no es el sistema, sino el tiempo.
Las brechas en la contención se traducen directamente en tiempos de inactividad técnica y, lo que es más grave, en una interrupción prolongada de la actividad empresarial. Tal como destaca el Hype Cycle 2026 de Gartner, los sistemas de agentes autónomos e interconectados exigen niveles crecientes de supervisión y disciplina desde las primeras etapas de su adopción. Por tanto, el factor tiempo es crucial y debe incorporarse con urgencia a los marcos de gobernanza.
La gobernanza proactiva de la IA
En lugar de esperar a que los reguladores elaboren nuevas políticas sobre los riesgos de la IA agéntica, las empresas deberían adoptar —de forma proactiva— la gobernanza en tiempo real como una necesidad estratégica. Esto debe convertirse en el principio básico que defina la forma en que los clientes responden ante actividades agénticas no autorizadas, tanto externas como internas.
Si bien el incidente de Hugging Face ejemplifica la amenaza externa, el hecho de que un agente borre una base de datos de producción dentro de una empresa, sin posibilidad de revertir el cambio, constituye un fallo interno. El primero es un problema de seguridad que nadie detectó ni detuvo; el segundo es de resiliencia: no se pudo volver a un estado fiable y seguro cuando el agente se comportó de forma anómala.
Detener a agentes maliciosos en tiempo real requiere un enfoque combinado de seguridad y resiliencia. Aquí está una lista con cinco elementos clave para ello:
- Designar a un único responsable del riesgo asociado a los agentes. La responsabilidad individual es mayor que la compartida o difusa. Según un informe de Veeam, en las organizaciones donde el CISO asume la responsabilidad de los riesgos asociados a la IA agéntica, la probabilidad de detectar agentes con comportamientos anómalos es un 24% mayor. Por el contrario, las empresas con responsabilidad compartida tienen un 47% menos de probabilidades de detectar actividades no autorizadas.
- Asegurar visibilidad total de los agentes de IA. Es fundamental contar con un registro en tiempo real de todos los agentes que operan en la organización: qué hacen, a qué tienen acceso y quién es su responsable. No se puede gobernar, y menos detener, aquello que se desconoce. Las investigaciones indican que el 93% de los altos directivos reconoce la shadow AI como un problema empresarial. Es necesario abordar esta situación con urgencia.
Detener a agentes maliciosos en tiempo real requiere un enfoque combinado de seguridad y resiliencia
- Definir los procedimientos de tolerancia al riesgo y contención antes de un incidente. Las organizaciones necesitan planes de contingencia, opciones de backup manual y procesos de soporte establecidos de antemano, incluyendo consideraciones sobre cumplimiento, auditabilidad y costo total de propiedad.
- Probar la protección antes de la implementación. No dejarse llevar por el entusiasmo excesivo en torno a las nuevas tecnologías. Mantener un proceso de pruebas continuo y, para los entornos de pruebas, utilizar datos de backup o de preproducción en lugar de datos de producción reales. La colaboración de Veeam con Anthropic en el proyecto Glasswing se centra en someter a nuestra propia plataforma a pruebas de estrés con Mythos 5, empleando el mismo tipo de IA que utilizan los atacantes, para garantizar que los clientes estén protegidos antes de que se produzca un ataque.
- Implementar una recuperación de precisión. A medida que las organizaciones pierden la capacidad de distinguir los resultados negativos generados por la IA, los problemas pueden agravarse rápidamente. Si bien los sistemas pueden reconstruirse con el tiempo, el verdadero coste radica en la pérdida de tiempo y la interrupción operativa.
Los sistemas de recuperación de precisión requieren saber exactamente qué modificó el agente, activar la restauración automatizada a nivel de archivo desde backups fiables y efectuar la recuperación dentro de un radio acotado, en lugar de detener el sistema completo.
Datos fiables y una comunicación clara
Las empresas seguirán bajo presión para implementar agentes autónomos con rapidez. Aquellas organizaciones que se mantengan a la vanguardia serán las que conserven el control de los datos que sustentan dichos agentes.
Disponer de una visión integrada de los datos y las identidades con los que interactúa un agente, junto con los mecanismos de seguridad necesarios para frenar el acceso no autorizado, permite detectar comportamientos anómalos, contener los daños y proteger el entorno de datos.
En caso de que se eliminen datos de producción, las operaciones de reversión de alta precisión pueden ayudar a deshacer los daños causados por la IA. No obstante, cualquier medida para contener agentes que actúen de forma indebida solo será eficaz si los repositorios de datos están limpios y son fiables.
Por último, a medida que las organizaciones atraviesan estos primeros años de crisis impulsadas por la IA, también es necesario gestionar la confianza de los empleados en tiempo real. Es importante aprovechar estos incidentes como oportunidades para educar al personal y abordar sus temores. Por ello, la transparencia y la credibilidad son fundamentales. Los líderes deben responder con rapidez, comunicarse con claridad, asumir responsabilidades y explicar las medidas correctivas.
Dentro de cinco años, todos comprenderemos mejor los sistemas de IA agéntica. Por ahora, dejemos de lado el ruido y centrémonos en las señales que nos permitan hacerlo bien.
