En la definición de Gartner, DataOps es una práctica de gestión de datos colaborativa enfocada a la integración y automatización de flujos de datos entre los gestores y los consumidores de información. DataOps nació a partir de la filosofía DevOps y combina metodologías como lean thinking, prácticas Agile y los principios de la cultura DevOps, pero de un modo totalmente enfocado a la analítica de datos. Su objetivo es lograr una mayor velocidad y precisión en el procesamiento de estos, además de la democratización en el acceso y la integración. Otro fin esencial es, por supuesto, asegurar su calidad.

Tal y como se menciona en el DAMA-DMBOK2 (Data Management Body of Knowledge), es necesario que las compañías entiendan el impacto de la tecnología en los datos para evitar caer en la tentación de que sea esta la que dirija sus decisiones. En lugar de eso, han de ser sus requerimientos de datos, alineados con la estrategia del negocio, los que guíen las decisiones sobre qué tecnología se va a utilizar, así como sobre la contratación de perfiles técnicos especializados.

DataOps permite publicar o entregar un conjunto de datos en períodos cortos y generar valor constantemente

Pongamos una analogía. Tener un deportivo es el sueño de muchas personas. Es una meta conocida, y muchos fabricantes presionan constantemente para que tratemos de hacerla realidad lo antes posible. Pero ¿qué pasaría si lo compramos y después tenemos que conducirlo por carreteras sin asfaltar, que no están preparadas para este tipo de coches?

Las herramientas tecnológicas y las contrataciones aceleradas son ese deportivo. Y es fácil caer en esa situación. De hecho, es muy común. Normalmente, esto se debe a que no se tiene en cuenta que la analítica es mucho más que tecnología, algoritmos y científicos de datos; elementos todos ellos fundamentales en esta clase de proyectos, pero que no deben ser lo primero en lo que se piense al abordarlos.

Por dónde empezar

Precisamente, DataOps permite revisar estos proyectos de datos desde su concepción hasta su monitorización final, combinando la agilidad con la calidad, y apoyándose en la automatización para reducir los tiempos dedicados a la analítica. Los siguientes son los pasos que habría que dar para asegurar el éxito en este tipo de proyectos.

• Identificar el estado actual de la empresa. Un perfil con experiencia en gobierno de datos, y quizás uno más técnico (como un ingeniero de datos), podría ayudar a conocer el grado de madurez de la organización. Habría que efectuar una evaluación para identificar, entre otros aspectos, qué datos tiene la empresa, dónde están almacenados, de qué tipos de fuentes provienen, quién accede a ellos y cómo lo hace, su calidad, la documentación de procesos de captura de datos, el flujo en los sistemas actuales, o todo lo relativo a la seguridad.

Es común que muchas de estas respuestas las tenga el área de TI, pero recordemos que ahora los datos son un activo, no solo una responsabilidad. De esta forma, las respuestas deben fluir entre los diferentes equipos de datos y los usuarios de negocio, no solamente en TI.

Ahora los datos son un activo, no solo una responsabilidad

• Identificar los requerimientos de datos o casos de uso. Durante esta evaluación inicial será posible conocer quiénes necesitan datos, qué datos reciben actualmente y en qué formato, y si los consultan en un lugar centralizado. Además, se podrá tener información sobre los errores de datos que han sido identificados (quién los entrega y si se direccionan nuevamente a otro departamento), la frecuencia de uso, o las operaciones o transformaciones propias a que se vean sometidos los conjuntos de datos.

Todas estas respuestas se deben comparar con las necesidades estratégicas y los objetivos de la organización. Al hacerlo se podrá determinar el papel que desempeñará cada área en el ciclo de los datos, los conjuntos de datos que se necesitan y lo que deberá contener cada uno de ellos.

• Priorizar las necesidades e instruir. En estos primeros pasos es importante formar un grupo pequeño de personas para empezar a constituir las prácticas de DataOps y seguir sus principios. Ese equipo inicial, junto con las áreas del negocio que vayan a verse afectadas, debe recibir formación y aprender cuanto pueda sobre los datos y sobre la nueva forma de verlos y utilizarlos en el negocio.
• Definir una estrategia de datos. Esto permitirá que la organización tenga a todos sus equipos “en la misma página y hablando el mismo idioma”. Los equipos de datos se irán desarrollando y es importante simplificar al máximo la transmisión de todas las pautas que tienen que ver con el uso de estos, para así evitar problemas por desconocimiento.
• Entregar resultados y medir. DataOps es un proceso iterativo que se apoya en las prácticas ágiles y en la automatización para publicar o entregar un conjunto de datos en períodos cortos y generar valor constantemente. Además, propicia la transparencia en la analítica y en las operaciones que se realizan sobre los datos. Todo este proceso iterativo debe tener puntos de medida que permitan conocer su rendimiento. Por ejemplo, el tiempo que ocupa el ciclo completo de la entrega de un conjunto de datos, el de una nueva analítica lista para usar, o el de despliegue de un nuevo conjunto de datos para utilizar en la operación.
• Iterar. DataOps utiliza las prácticas ágiles del desarrollo de software para la entrega iterativa de conjuntos de datos y analítica. De esta forma, en las iteraciones no solo se hacen nuevas entregas en cada sprint, sino que también se utilizará la retroalimentación de los equipos de datos y los usuarios de negocio con un triple objetivo: refinar requerimientos de datos, eliminar o crear pasos en la operación, y, por supuesto, optimizar.

DataOps es un proceso iterativo que se apoya en las prácticas ágiles y en la automatización para generar valor constantemente

• Crecer. Ahora que hay una estructura que genera los análisis y los conjuntos de datos como un proceso, es más sencillo crecer. Esto se debe a que ya hay unas pautas establecidas para añadir nuevos miembros al equipo, aceptar nuevos requerimientos de datos o ampliar la cobertura a nuevas áreas o líneas de negocio, según la priorización que se hizo en el paso tres.

Agilidad y analítica

DataOps hace posible ver la analítica, y las tareas en las que intervengan conjuntos de datos, como un proceso, una tarea repetible y ágil que ayuda a mejorar la disponibilidad de la información y de los datos de calidad.

Para hacerse una idea del valor que ofrece solo hay que pensar en el coste que supone tomar decisiones a destiempo por no contar con un proceso que permita repetir los análisis o mejorarlos a través de un proceso iterativo. También se puede calcular cuánto cuesta el hecho de que perfiles especializados en analítica y modelos de machine learning estén dedicados a hacer tareas manuales y a lidiar con la calidad de los datos.

Recuerda: DataOps está más relacionado con las prácticas que con la tecnología, aunque la necesita para poder aplicar parte de sus principios.