El impulso de la transformación digital y el imparable desarrollo de tecnologías como la inteligencia artificial han convertido el tratamiento de los datos en el recurso más importante de las organizaciones.
Con la llegada del big data, el almacenamiento y la gestión de los datos han evolucionado de forma evidente, desde aquellos sistemas de datos estructurados, que se localizaban en bases relacionales y se agrupaban en grandes servidores de alto coste, a modelos flexibles en la nube, que permiten efectuar análisis mucho más avanzados y relevantes.
El volumen de información que las organizaciones deben manejar está aumentando de forma exponencial, pero solo las capaces de recopilar, almacenar y analizar de forma eficiente esta información podrán obtener una visión más detallada de sus operaciones y de su actividad, así como anticiparse a las tendencias en el mercado, minimizar los riesgos y maximizar las oportunidades de crecimiento.
Como norma general, todo proyecto de datos debe orientarse hacia el medio o largo plazo. La inteligencia artificial es asombrosa, sin duda, pero si detrás no hay una estrategia de datos consistente, el proyecto fracasará. Otro punto crucial es identificar con claridad a los responsables de esos datos, ya que la gobernanza constituye también un pilar fundamental.
En definitiva, poner en marcha políticas y modelos que optimicen los análisis de datos proporciona una gran ventaja competitiva para las compañías. Pero, para poder lograrlo, es indispensable desarrollar una buena arquitectura de datos, que permita aprovechar al máximo los recursos, tanto en on premise como en los nuevos modelos multicloud.
Data lake y la gestión de datos no estructurados
El enfoque tradicional de almacenamiento impedía trabajar con datos no estructurados o semiestructurados de manera ágil. La información se usaba únicamente para implementar sistemas y, si bien solo en contadas ocasiones, también para automatizar procesos.
Más o menos en 2011 comienza a desarrollarse la arquitectura denominada data lake, que actúa como un repositorio centralizado de datos estructurados y no estructurados. Dicha arquitectura ha ido dando lugar a otras, como la de data lakehouse, que, al combinar la capacidad de gestión con la flexibilidad y la escalabilidad, consigue almacenar y analizar cualquier tipo de dato —ya sea estructurado, semiestructurado o no estructurado— a cualquier escala.
Esta metodología favorece la gobernanza de datos al crear un espacio abierto estandarizado que proporciona un mayor control sobre la seguridad. Al mismo tiempo, consolida todos los recursos de la base de datos y mejora el acceso a toda la información.
Otra ventaja es su mayor rentabilidad, ya que este modelo de arquitectura de datos separa los recursos de procesamiento del almacenamiento y de este modo ahorra y optimiza la potencia de cálculo.
Combinada con una potente herramienta de análisis, es capaz —además— de utilizar técnicas de machine learning como el análisis predictivo o los motores de recomendación.
Data federation: la democratización de los datos
Si consideramos que, en la actualidad, las organizaciones solo utilizan el 30% de los datos que han almacenado comprenderemos fácilmente la importancia de extraer un mayor valor de esa información. A todo ello es necesario sumar la búsqueda de la compatibilidad con las políticas y las estrategias de gobernanza.
De hecho, el cumplimiento normativo y la gobernanza constituyen, en buena medida, la base o el requerimiento principal para disponer de datos fiables, de calidad y aptos para implementarse como materia prima para sistemas de inteligencia artificial aplicados a todo tipo de casos de uso.
En este contexto, ha adquirido una especial relevancia la arquitectura de federación de datos (data federation), que evoluciona a partir de los principios del data mesh, como una especie de segunda versión de esta metodología.
El enfoque descentralizado del data federation permite analizar y visualizar la información de manera inmediata
Principalmente, la arquitectura data federation es relevante en el caso de las empresas data driven (es decir, y a grandes rasgos, las organizaciones que utilizan los datos de manera proactiva en todas las decisiones y procesos comerciales). En este sentido, su política de acceso a los datos resulta en una mayor calidad y eficiencia en el proceso de análisis de la información.
El enfoque descentralizado de data federation proporciona la posibilidad de analizar y visualizar la información de manera inmediata a cualquiera que disponga de acceso, al tiempo que promueve la transparencia de la información, estableciendo puntos clave en la gobernanza de datos.
Mediante el intercambio de datos en diferentes interfaces, el data federation impulsa el trabajo colaborativo entre los diferentes departamentos de la organización. Además, mejora la calidad del dato, ya que, al dividir las tareas entre varios equipos, se fomenta una mayor atención al análisis y gestión de la información.
Arquitecturas de datos
Las actuales necesidades de negocio requieren arquitecturas de datos que aceleren la toma de decisiones en tiempo real. Sin embargo, muchos de los entornos de datos de las empresas están obsoletos o no cuentan con la flexibilidad suficiente para evolucionar en el entorno digital. Establecer una sólida infraestructura de datos es esencial para favorecer flujos de datos más eficientes.
Normalmente, la falta de efectividad de las plataformas de datos se suele atribuir a aspectos tales como una tecnología inadecuada, pero, en realidad, en la mayor parte de las ocasiones es consecuencia de fallos en la definición de la arquitectura. Una arquitectura de datos apropiada permitirá analizar mejor las tendencias, dotar de mayor eficiencia a los procesos y, por supuesto, optimizar la toma de decisiones.
Aquellas compañías que den un salto en la gestión y el análisis de sus datos obtendrán un gran valor diferencial frente al resto de los competidores del sector. Para ello, es imprescindible que la arquitectura de datos esté estructurada y actualizada, y que se ajuste a las necesidades concretas de la organización.
Finalmente, situar al dato en el centro de las compañías debe ir más allá de desplegar la arquitectura: se trata de un proyecto de transformación en sí mismo.
