Ante la consolidación del modelo hybrid cloud, el reto ya no solo está en la gestión de los datos, sino en los metadatos. Para poder afrontar este desafío, la solución reside en implementar arquitecturas data lake house, que aportan una visión unificada del conjunto de metadatos, así como contemplar en todo momento los necesarios mecanismos de seguridad y gobernanza.
En los últimos años hemos asistido —en el sector tecnológico— a numerosos debates sobre cuál debe ser la ubicación óptima de los datos, con el objetivo de que las organizaciones puedan extraer el máximo valor de su información.
Muchas compañías apostaron por el modelo cloud. Sin embargo, en la actualidad son muy pocas las empresas que confían todos sus datos a una única nube, bien sea pública o privada, y todo apunta a que el futuro será híbrido. De hecho, según Forrester, nueve de cada diez responsables de TI cree que optar por el modelo hybrid cloud es el mejor enfoque para ser competitivos.
Ante este escenario, resulta de vital importancia para los directivos poder analizar su información independientemente del lugar en el que esté ubicada. Para ello, la verdadera batalla ahora ya no solo está en la gestión de los datos, sino en la de los metadatos que llevan incorporados, que son imprescindibles para que los primeros sean consumibles, reveladores y útiles, además de garantizar la seguridad y la gobernanza.
Gestión de los metadatos
Los metadatos están formados por información adicional que no aparece a simple vista en un fichero, documento o imagen, como puede ser su fecha de creación o la ubicación geográfica.
Gracias a ellos, los responsables TI de las compañías pueden optimizar la búsqueda y recuperación de información, así como conocer aspectos clave como el histórico de modificaciones de un proyecto, los usuarios que han participado en su elaboración o quienes pueden acceder a él.
Estos activos pueden ser operativos o de negocio. Los primeros facilitan que la información se dirija a los destinatarios correctos, incidiendo en la gobernanza y la privacidad, mientras que los segundos, los de negocio, proporcionan el contexto necesario para que los usuarios puedan encontrar y analizar fácilmente la información que buscan.
Teniendo en cuenta la coexistencia de estos tipos de metadatos en entornos cada vez más híbridos, el reto reside en conseguir gestionarlos de forma conjunta para automatizar el análisis y escalar los proyectos empresariales derivados de ellos.
Tradicionalmente, la respuesta ante este desafío ha sido trasladar o copiar los datos de una fuente o sistema a otro. Sin embargo, este enfoque no es efectivo, ya que aumenta los costes y dificulta la escalabilidad. En lugar de mover o copiar datos, las empresas deben centrarse en unificar los metadatos para mejorar la eficiencia y reducir costes.
El metadato plantea una batalla que solo podremos ganar a través de una gestión y gobernanza sólidas
En primer lugar, se debe conseguir que los metadatos sean fácilmente reconocibles por los usuarios a los que están dirigidos. Además, es importante que estén disponibles y sean interoperables cuando proceden de diferentes fuentes. En este sentido, la mejora de su calidad y precisión resulta clave para garantizar una consulta eficiente de esta información.
La gestión de los metadatos resulta compleja, ya que se encuentran en diversos formatos: datos estructurados, no estructurados, contenido multimedia… Esto dificulta aún más su integración y estandarización.
Al mismo tiempo, teniendo en cuenta que determinados metadatos recogen información confidencial de la empresa que no debe ser compartida con terceros, es indispensable aplicar políticas de seguridad y gobernanza centralizadas y adecuadas. Un aspecto que se vuelve más complejo cuando se opera en entornos híbridos.
Desde Cloudera consideramos clave emplear metadatos abiertos, que no se encuentren en una única plataforma, y buscar la automatización y la escalabilidad a la hora de operar en los diferentes entornos.
En este sentido, resulta fundamental disponer de herramientas que unifiquen tanto los metadatos operativos como los de negocio para alcanzar una visión global de toda la información.
Plataforma abierta y unificada
La solución reside en la implementación de arquitecturas modernas data lake house. A través de esta infraestructura, los equipos almacenan y gestionan los metadatos en origen. Esto permite eliminar copias y réplicas, además de garantizar una visión coherente y precisa.
En Cloudera, a través de nuestro data lake house abierto, basado en Apache Iceberg, garantizamos que los metadatos estén siempre disponibles y sean fácilmente accesibles, independientemente de las plataformas y soluciones con las que operan las compañías.
Los metadatos operativos suelen ser generados por un sistema y se mantienen dentro de tablas Iceberg, mientras que los de negocio suelen ser generados por expertos en el dominio o equipos de datos. Nuestra visión reside en capacitar a las organizaciones para transformar esos datos en información valiosa, minimizando el esfuerzo empleado e incidiendo en la automatización.
De esta forma, al garantizar que cada conjunto de metadatos esté correctamente clasificado e identificado, los usuarios pueden encontrar fácilmente aquello que buscan, incluso en extensos catálogos o bibliotecas de datos, sin que se pierda información por el camino. Esto se traduce en eficiencia, ya que se elimina la necesidad de realizar búsquedas de información durante la planificación de consultas.
Precisamente, una de las principales ventajas de los metadatos radica en facilitar esa búsqueda y recuperación de los datos principales que describen. Algo que cobra un papel cada vez más importante en los proyectos de inteligencia artificial generativa. Pero para alcanzar esa eficiencia se debe disponer de los sistemas y arquitecturas adecuados.
Además, con el objetivo de garantizar la privacidad y la gobernanza, Cloudera Shared Data Experience brinda un conjunto de herramientas para el seguimiento de los metadatos en los diferentes entornos. Estas soluciones garantizan que los controles de acceso y la seguridad se apliquen en todo momento, de modo que los equipos tengan la certeza de que solo los usuarios autorizados pueden disponer de la información y de que los datos más sensibles están protegidos.
A diferencia de los sistemas aislados, la posibilidad de disponer de una capa de gestión de seguridad centralizada facilita la disponibilidad de los datos con la confianza de que nadie tendrá acceso no autorizado.
Conclusión
Ante la inmensa cantidad de información con la que cuentan las organizaciones, así como de los metadatos aparejados, las oportunidades de análisis son infinitas. Sin embargo, para poder alcanzar un valor real de esa información, el foco se debe situar en cómo se gestiona y analiza para conseguir su disponibilidad e interoperabilidad.
Los metadatos son la base de todo flujo de datos y constituyen un activo de gran relevancia para desbloquear el potencial de tecnologías como la inteligencia artificial. En plena era del hybrid cloud, una estrategia de metadatos que permita operar en los diferentes entornos de forma unificada es crucial.
