Es evidente el interés que está despertando la inteligencia artificial en todo tipo de organizaciones, en especial la denominada IA generativa. Pero su adopción definitiva depende, en gran parte, de una adecuada gestión de la información —en todo su ciclo de vida— y en unas infraestructuras de datos que estén preparadas para las nuevas necesidades de rendimiento y eficiencia requeridas, también en el ámbito energético.
Sobre el contexto que se abre a nivel empresarial hemos hablado con Andrés Sánchez, Storage product manager en Huawei Empresas España. El directivo destaca que, en sus interacciones diarias con todo tipo de organizaciones, sí detecta un interés creciente por estas tecnologías, pero también por lo relacionado con los modelos adecuados para recopilar información y estudiar cómo realizar la necesaria evolución que les permita dar el siguiente paso.
Para Andrés Sánchez, son evidente los beneficios que propone la inteligencia artificial generativa, desde interactuar con sistemas o aplicaciones utilizando solo el lenguaje natural (escrito o hablado), hasta generar imágenes muy rápidamente o secuencias de vídeo a partir de una sola fotografía.
“Pero nos movemos todavía en entornos unimodales, diseñados y construidos para trabajar exclusivamente con un tipo de datos, en su mayoría públicos”.
La primera ola, según el directivo, será llevar esos entornos unimodales hacia escenarios generales de la industria, enfocándolos de forma clara a ámbitos como el marketing, el diseño, la programación, etc. Pero el siguiente movimiento debe ser pasar a un IA multimodal, capaz de procesar e integrar datos de diferentes tipos (texto, imágenes, audio y video), lo que facilita una comprensión completa y contextualizada de la situación en sí.
En los próximos dos años, los modelos de IA van a poder desarrollar el 50% de los escenarios a nivel industrial
“La percepción de aquellos que estamos envueltos en el desarrollo de la inteligencia artificial es que, en los próximos dos años, los modelos fundacionales de IA van a poder desarrollar, más o menos, un 50% de los escenarios que podemos encontrar en la industria».
«El siguiente paso será evolucionar esos modelos hacia escenarios específicos de uso, como pueden ser el entorno de healthcare, smartcities, media, educación, biología o finanzas. Vamos a ser capaces de combinar la inteligencia artificial con los datos propios de cada una de esas compañías para poder sacar el máximo beneficio”.
Empresas y sectores
El camino de adopción de la inteligencia artificial a nivel empresarial ha comenzado su desarrollo de forma transversal, para luego ir evolucionando hacia entornos de uso más específicos. De hecho, las grandes corporaciones han sido las primeras en apostar por estas tecnologías y plantear pruebas de concepto en diferentes áreas del negocio. Esto, según el directivo de Huawei, facilitará que esos modelos pueden llegar después al resto de empresas en otros sectores o en ámbitos más pequeños.
En la actualidad, estos proyectos piloto lo que buscan es conseguir ese primer escenario de uso, en el que las grandes compañías puedan, de verdad, generar valor a través de la inteligencia artificial.
“Por ejemplo, estimamos que la adopción de modelos de inteligencia artificial en los entornos financieros puede derivar en más de un 20% de acierto en la detección de anomalías financieras; si se usa en el desarrollo de fármacos, se pueden reducir los tiempos de años a meses; si lo llevamos al ámbito de las factorías inteligentes, permite un 14% más de aciertos en la inspección y detección de errores (en piezas o componentes) en las en las cadenas de montaje; aplicado a la meteorología, facilitará predicciones mucho más rápidas y con mayor nivel de acierto”.
Hay muchos más sectores de aplicación, como pueden ser el transporte o la minería, que pueden obtener un amplio abanico de beneficios derivados de la inteligencia artificial.
Hacia una IA privada
Pero, a nivel empresarial, la IA generativa debe alimentarse de datos que no son, ni pueden ser, públicos. El objetivo es caminar hacia una IA generativa personalizada para cada sector y para cada empresa, poder utilizar los datos privados de cada una de las compañías, ese big data interno, para obtener servicios y productos de una manera más rápida y eficiente, o mejorar los modelos de producción para incrementar los beneficios.
“No solo hablamos de compañías privadas. Los modelos de inteligencia artificial tienen una aplicabilidad muy clara en ámbitos como la sanidad pública, o en los portales que tiene las Administraciones Públicas para interactuar con los ciudadanos, en este caso, con un beneficio claro en las personas”.
A través de NVMe conseguimos unas ratios de consumo bajísimas a nivel de disco y unas latencias mucho menores
Lo que es evidentes que el dato es el que determina el desarrollo de la inteligencia artificial. Si la IA no tiene suficientes datos, o no son de calidad, simplemente no funciona.
“En un modelo de inteligencia artificial debemos tener en cuenta tres vértices. Por un lado estarían los algoritmos, que podemos simplificarlos a través de una serie de frameworks (como PyTorch o TensorFlow ); en otro vértice está todo lo relacionado con la computación, que tenemos resuelta a través de las GPU de diferente tecnología. Pero el principal factor es el dato que, además, plantea un desafío adicional: para poder desarrollar un modelo de inteligencia artificial debemos pasar de una escala de terabytes a petabytes”.
En esta evolución hacia los entornos multimodales se hace especialmente necesario contar con mucha información, manejar un volumen muy elevado de datos. Pero no solo se trata de cantidad, también la calidad de ese dato determina el desarrollo de la IA. “Cuanto mejor es el dato, mejor el modelo”.
Infraestructuras de datos
Volviendo a la cantidad, al volumen de datos, para trabajar con estos modelos se requiere de una capacidad de almacenamiento muy elevada. Cuando trabajamos en estos modelos fundacionales hay una parte muy importante, que es la relacionada con machine learning, que tiene básicamente dos grandes fases: una de training y otra de inferencia.
Durante la fase de training es necesario alimentar al modelo con datos que sean lo más limpios posibles para que el sistema aprenda todo lo que necesita para poder hacer los posteriores análisis.
Se trata de que los accesos, tanto de lectura como de escritura, sean muy rápidos para que el uso de la GPU sea lo más eficiente posible
“Hablamos de procesos que consumen mucho tiempo en tareas como la preparación o la posterior carga de los datos en los procesos de training. Si esa carga es lenta, el modelo de aprendizaje se puede ver interrumpido, y puede conllevar que el uso de GPU se incremente o, incluso, que se produzcan alucinaciones de la inteligencia artificial, es decir, respuestas que nada tienen que ver con lo que se está preguntando”.
Para evitarlo en lo posible, el almacenamiento debe estar basado en sistemas de alto rendimiento, capaces de proporcionar los datos de manera inteligente y fluida en la fase de training, haciendo que sea lo más limpia posible. “Se trata de que los accesos, tanto de lectura como de escritura, sean muy rápidos para que el uso de la GPU sea lo más eficiente posible. Esto propiciará, además, que, durante el proceso de inferencia, las consultas que lancemos tengan una respuesta lo más rápido posible”.
Para dar respuesta a este escenario, Huawei ha lanzado dos modelos específicos para esos entornos fundacionales de la industria: OceanStor A310 y OceanStor A800. La elección del modelo dependerá de las necesidades específicas de cada escenario en cuanto al volumen de datos a manejar y el nivel de complejidad.
“En cualquier caso, ambos modelos trabajan, con un framework estándar de la industria, de código abierto; y lo mismo ocurre con el equipamiento de redes, que utiliza un entorno estándar. En lo que tiene que ver con la GPU, podemos trabajar con procesadores ASCEND o con GPU tradicionales de terceros”.
Eficiencia energética
Pero la IA es también un gran consumidor de energía y uno de los desafíos ocultos está relacionado con el elevado coste ambiental derivado de su uso. Por ejemplo, un estudio Hugging Face y Carnegie Mellon University, publicado a finales del pasado año, concluye con datos muy interesantes respecto a la huella de carbono asociada al uso de los diferentes modelos de IA. Por ejemplo, según el estudio, el modelo de IA de generación de imágenes puede llegar a utilizar tanta energía como la necesaria para cargar, casi al 100% la batería de un smartphone.
“Efectivamente, esta es una preocupación cada vez mayor por parte de las empresas. Para dar respuesta a este escenario, los nuevos sistemas de almacenamiento no solo se desarrollan para que sean muy rápidos y den un mejor rendimiento, sino también para que tengan un consumo energético muy bajo”.
Además, el directivo destacó que nos encontramos en pleno proceso de evolución de los datacenter. Una de las tendencias claras que se está viviendo en el mundo de los datos es que se está dando el paso desde una infraestructura tradicional, basada en discos rotacionales magnéticos, para adoptar definitivamente la tecnología flash.
“Pero no hay que quedarse solo en el uso de tecnología flash basada en discos de estado sólido. Desde Huawei aconsejamos dar el salto a una nueva tecnología: NVMe. A través de ella conseguimos unas ratios de consumo bajísimas a nivel de disco y un rendimiento con unas latencias muchísimo menores, si lo comparamos con la arquitectura tradicional de disco de estado sólido”.
El almacenamiento debe estar basado en sistemas de alto rendimiento, capaces de proporcionar los datos de manera fluida
De este modo, en todos los modelos de inteligencia artificial, en el big data que utiliza la IA para almacenar los datos en ese proceso de training, la propuesta de Huawei es utilizar tecnología basada en NVMe (non volatile memory express). “Es la que permite que ese gran volumen de datos que maneja la inteligencia artificial tenga el mínimo consumo energético posible dentro de los grandes datacenter”.
Casos de aplicación
Huawei ha desarrollado ya un gran número de proyectos relacionados con el almacenamiento en empresas de todos los sectores y tamaños, buscando dar respuesta a diferentes retos relacionados con la eficiencia, el coste, el volumen o, por supuesto, el ahorro de la factura energética.
Por mencionar dos de ellos, Andrés Sánchez nos ha habado de un caso muy significativo, que es el del CSUC, el Consorcio de Servicios Universitarios de Cataluña. Precisamente, uno de los principales retos de esta institución, para dar soporte a la comunidad investigadora, era ampliar la capacidad de almacenamiento y reducir el consumo energético de sus centros de datos.
En el CSUC han optado por una solución de almacenamiento distribuido con tecnología NVMe, con cerca de 50 PB de espacio en total
“Para ello, han optado por una solución de almacenamiento distribuido con tecnología NVMe, con cerca de 50 PB de espacio en total, un crecimiento exponencial teniendo en cuenta que se partía de los 2 PB. La nueva solución aporta escalabilidad, flexibilidad y fiabilidad, además de respetar el medio ambiente con la reducción del consumo energético por TB, que disminuye la huella de carbono del centro de procesamiento de datos del Consorcio”.
Otro interesante ejemplo que destaca el directivo de Huawei es el proyecto que llevado a cabo en el Hospital de Sant Pau. Esta institucion ha optado por un almacenamiento con all flash, evolucionando a un sistema de última generación sobre tecnología NVMe. Con ello, el complejo hospitalario buscaba una mejora significativa en el rendimiento de la gestión de datos pero, sobre todo, también un ahorro energético con respecto a los sistemas más tradicionales basados en discos rotacionales.
Además, y esto es importante, el proyecto ha permitido al hospital el desarrollo de otras áreas relacionadas, por ejemplo, con la recuperación de los servicios o la protección antiransomware a nivel de copias de seguridad.
“Esta nueva tecnología, sobre cabinas de almacenamiento all flash de última generación, les permite abordar los requisitos que marcan aplicaciones críticas como son el sistema de información hospitalaria, el de información radiológica, la historia clínica de los pacientes, el sistema de comunicación o el archivado de imágenes”.
También es importante resaltar, según afirma el directivo, que este sistema de almacenamiento —rápido y de última generación— permite disponer de varios entornos trabajando contra el mismo sistema.
“De este modo, el hospital ha obtenido la capacidad de tener esos datos con redundancia en otros CPD, no solo para contar con un entorno de contingencia frente a cualquier tipo de desastre, sino también para poder disponer de un entorno en alta disponibilidad, que puede dar servicio en caso de caída del primer CPD en tiempo real”.
