Los riesgos del shadow AI

Shadow IT es el nombre con el que se bautizó la práctica de emplear, en un contexto empresarial, software, hardware o servicios externos a la empresa —y no controlados por ella— para que los empleados resuelvan problemas de su día a día.

Extensión de este fenómeno, que vivió su apogeo con los servicios cloud, o los de comunicaciones y colaboración, es el shadow AI, esto es, emplear —de nuevo sin control— aplicaciones o plataformas de IA generativa, exponiendo a las empresas a graves riesgos, tanto en el plano de la seguridad como en el del compliance. Sobre esta tendencia hemos hablado con Alberto Martín de los Santos, Cybersecurity Director en Inetum.

En la actualidad, el 90% de los CISO tienen este problema encima de la mesa, y les preocupa mucho

Conviene comenzar contextualizando el problema: es cierto que la inteligencia artificial no es nada nuevo en el ámbito corporativo. De hecho, los departamentos de ciberseguridad la emplean desde hace más de diez años en, por ejemplo, procesos estadísticos, con el objetivo de adelantarse a comportamientos anómalos.

Con la IA generativa, estas tecnologías han quedado al alcance de todo el mundo, y, en consecuencia, son muchos los empleados que las utilizan en su trabajo. Ahí comienzan los problemas. La tecnología va más rápido que la capacidad de las organizaciones para implementar mecanismos de organización y control.

“En la actualidad, el 90% de los CISO con los que tenemos reuniones, ya sean de la Administración Pública o de empresas privadas, tienen este problema encima de la mesa, y les preocupa mucho”.

Shadow AI: un riesgo es real

La solución parece obvia desde el punto de vista de un CISO: recurrir al departamento de TI y pedirle que bloquee el acceso a una página o una URL. No es, sin embargo, tan sencillo. De hecho, ya hace muchos años que se intenta que el dato no escape del control de la organización, pero cuando las plataformas de IA generativa están disponibles para cualquiera (y gratis, he ahí problema), la situación se desmanda.

Se trata de un riesgo que afecta a todo tipo de organizaciones, aunque las hay particularmente sensibles: todas las que viven de una propiedad intelectual en forma de patentes, fórmulas o incluso el desarrollo de software propio.

Nos encontramos ante riesgos con frecuencia muy ligados a Negocio. El directivo de Inetum nos habla, por ejemplo, de una empresa española, un fabricante de artículos de PVC líder en su sector. Para ella es muy importante que el diseño no escape a su control, de hecho, incluso fabrica sus propias máquinas, con las que produce ese PVC. Perder la propiedad intelectual sería un golpe letal.

No es el único caso. Por ejemplo, en el departamento financiero se suelen usar Excel muy grandes, con muchas pestañas, fórmulas, macros, etc. Estas hojas de cálculo pueden tardar horas en resolver algunas operaciones. “Si una IA generativa puede hacer ese proceso en cinco minutos en vez de en dos horas, y hacerlo bien, ya no hay vuelta atrás. Esa persona no va a querer volver a lo anterior”.

Sin embargo, ¿sabe el empleado dónde está subiendo ese Excel, que podría incluir la estructura de costes de la compañía? Probablemente no, y si bien pudiera estar haciéndolo a una plataforma más o menos respetable, también es posible que lo comparta en un servicio ubicado fuera de la Unión Europea y creado por un desarrollador de dudosa reputación.

“Esto supone un riesgo muy grande. Incluso puede ocurrir que esa estructura de costes compartida le aparezca como ejemplo a otro usuario de esa IA generativa. Y esto ha pasado”.

Es cierto que muchas veces se hace sin ningún tipo de malicia. El usuario tiene una necesidad, a la empresa le cuesta darle una solución por diferentes motivos (burocracia, falta de recursos…) y entonces decide operar al margen de la organización.

La movilidad como acelerador

Hablamos de un riesgo bastante extendido. “No hay datos porque, aunque parezca mentira, tampoco llevamos tanto tiempo con esto. Existen ámbitos, como el sector financiero (banca y seguros) o la industria de defensa, más concienciados, pero hay otros en los que, salvo honrosas excepciones, no ocurre lo mismo, como la educación o la industria”.

Añadamos a lo anterior otro problema: los teléfonos personales de los usuarios forman también parte del shadow AI, pues en ellos se utiliza la IA de WhatsApp o la app de, por ejemplo, ChatGPT. “Plataformas de IA generativa hay miles. Un usuario puede tener cualquiera en su teléfono y es muy fácil saltar desde el dispositivo profesional al personal sin ningún tipo de control”.

Fácil comprender, por tanto, la dificultad de mantener el control de la información. El primer paso para lograrlo es que las organizaciones sean conscientes del problema; el segundo, que lo sean también los trabajadores. Después, ya se pueden ir implementando soluciones, tanto desde una perspectiva de políticas de seguridad como desde un punto de vista técnico.

En este sentido hay herramientas, como las soluciones de IRM (information rights management), de clasificación de la información, o las de tipo DLP (data loss prevention), que ayudan a controlar la fuga de información.

“Son un primer paso importante. Además, permiten monitorizar lo que está ocurriendo dentro de la organización. Si no monitorizas y mides lo que está pasando con el shadow AI, no sabes lo que están haciendo tus empleados”.

IRM y DLP

Por un lado, la IRM es una tecnología que clasifica la información (documentos, material multimedia, etc.) en diferentes niveles para, a través de diversas protecciones, impedir visualizarla fuera del entorno de trabajo.

El DLP puede evitar la introducción del prompt dentro de esa IA generativa antes incluso de que el usuario empiece a escribir

Las soluciones de tipo DLP, por su parte, permiten controlar esos flujos de información para evitar que abandonen los límites de la empresa, ya sea a través del puesto de trabajo y mediante el correo electrónico, a través de la navegación web, etc. Por ejemplo, CASB (cloud access security broker) es una versión de la DLP que protege la información que se quiera subir a cualquier plataforma SaaS externa.

“Si, por ejemplo, una organización tiene activado el DLP, podrá evitar la introducción del prompt dentro de esa IA generativa de dudosa reputación antes incluso de que el usuario empiece a escribir”.

Herramientas que —imperfectas, como todo— cubren un gran espectro y proporcionan un punto de control muy interesante, especialmente si se integran con un sistema de correlación de logs. Esto permite monitorizar la actividad de los usuarios desde los centros de operaciones de ciberseguridad para saber si se están empleando esas plataformas, qué tipo de información se estaba subiendo y por qué. De este modo, se podrán orquestar respuestas a este tipo de acciones.

“En el 99% de los casos, se trata de acciones no maliciosas de los usuarios, simplemente lo hacen por desconocimiento o por tratar de ser más productivos. No hay intención de causar un daño a la compañía”.

Más allá de la privacidad

Hablamos de riesgos relacionados con la privacidad y la fuga de información, pero también de otros ligados al sesgo o la calidad de los resultados, al aumento de la superficie de ataque o incluso al compliance.

En Europa rigen numerosas regulaciones al respecto. Especialmente en el área de ciberseguridad hay normativas como NIS2 —o DORA en el sector financiero— cuyo incumplimiento acarrea consecuencias que van desde multas para la dirección hasta incluso penas de cárcel si se demuestra que ha habido negligencia. Lógicamente, la shadow AI complica mucho la vida a las empresas a la hora de asegurar el cumplimiento de todas estas regulaciones.

Shadow AI complica mucho la vida a las empresas a la hora de asegurar el cumplimiento de todas estas regulaciones

“Si estamos en un sector altamente regulado, como el del transporte, el riesgo es claro. Si, por la shadow AI, datos sensibles de nuestros clientes acaban en una IA generativa de cualquier país fuera de la Unión Europea, podemos tener problemas graves, además de una multa impuesta por la Agencia Española de Protección de Datos”.

Formación y capacitación

Tal y como ocurre en la mayoría de los contextos, el papel de las personas resulta esencial. Antes de implantar cualquier herramienta, lo primero es formar a todos los empleados, en general sobre ciberseguridad, pero en particular sobre la shadow AI, para que sean conscientes de los riesgos.

“Además de la formación, es importante que, cuando se detecta un problema derivado de este mal uso de la IA generativa, no se haga un escarnio público, sino que se le explique al empleado qué es lo que ha hecho mal, dónde ha fallado. De hecho, hay herramientas de formación en ciberseguridad que ahondan en este tipo de mensajes (preavisando al usuario cuando va a subir cierta información a determinadas plataformas) o que ayudan a hacer un seguimiento periódico y continuo de estas situaciones”.

Hay herramientas, como las soluciones de IRM o de tipo DLP, que ayudan a controlar la fuga de información

Tengamos en cuenta, por último, que en este artículo hemos hablado de la IA generativa y de la shadow AI tal como las conocemos hoy; esto es, diferentes, casi con toda seguridad, a como serán dentro de tan solo seis meses, cuando nos ofrecerán nuevas capacidades y nos expondrán a nuevos riesgos. Un escenario, por tanto, donde cobra una especial importancia la formación continua de los equipos.

“Y lo primero es formar a la capa directiva o de gestión. Son los que mejor deben entender cuál es la situación y qué riesgos y consecuencias se derivan. Además, estos perfiles son los que tienen acceso a información más sensible o confidencial, y también los que toman las decisiones y asignan los presupuestos”.