La agilidad es esencial en el análisis de datos

La ciencia de datos o es ágil o no es nada

Hace ya unos cuantos años, me tocó vivir la irrupción a gran escala del agilismo en la industria del desarrollo de software en España. En poco tiempo, el agilismo pasó del desprecio y la sospecha al más puro mainstream. Tanto es así que, ahora mismo, ya hay un buen número de desarrolladores de software que no han conocido otra manera de llevar a cabo su trabajo.

Después de esa etapa, me acerqué profesionalmente al mundo de las startups. Aquí, conceptos como Lean Startup son imperantes. Aunque no están directamente relacionados, agilismo y Lean Startup comparten un mismo esquema mental, con conceptos subyacentes como:

  • no podemos saberlo/planificarlo/estimarlo todo de antemano
  • cuanto antes empecemos a generar productos reales, aunque parciales, antes podremos validar si son lo que el negocio necesita
  • si vamos a equivocarnos, mejor hacerlo lo antes posible, para poder corregir el rumbo mientras aún haya oportunidad

El agilismo no ha llegado a todos los ámbitos por igual

Con esas dos etapas a mis espaldas, uno corre el riesgo de pensar que ya todo el mundo tiene interiorizada esa forma de afrontar los proyectos… pero nada más lejos de la realidad.

Desde que me muevo exclusivamente en este mundillo de la analítica de datos de marketing, no salgo de mi asombro con la manera en la que se afrontan algunos (¡muchos!) proyectos de esta industria.

Abundan, por ejemplo, los proyectos de analítica que vienen precedidos por enormes proyectos de “infraestructura Big Data” mediante los que se crean vastas capacidades de ingesta y almacenamiento de datos… sin un objetivo de activación claro.

Millones malgastados, meses perdidos y, lo que es peor, un lastre en forma de coste hundido que mueve el foco de la empresa: de sacarle valor a los datos a justificar la existencia de ese mamotreto tan caro.

El análisis de datos y la agilidad

De forma general, el enfoque en cascada, convencional, no es el adecuado para los proyectos de analítica avanzada porque:

  • La mayor parte del valor de los datos se va descubriendo a medida que se recorre el camino, no se puede prever de antemano.
    • Un proyecto ágil debe tener la flexibilidad suficiente para ir dando acomodo a los nuevos insights descubiertos durante el proceso, para ir adaptando sus objetivos a ellos.
    • También, no lo olvidemos, para aceptar los obstáculos que se descubran (p.ej. – datos que necesitan esfuerzos de preparación mucho mayores que lo previsto).
  • El estado final de un pipeline ambicioso de análisis de datos puede llegar a ser muy complejo y enrevesado: montar todo el sistema de «cañerías» es un proyecto de meses o años.
    • Si esperas a tenerlo todo listo para empezar a trabajar en la activación de los datos, estás desaprovechando todo ese tiempo.
    • Las empresas que te ayuden a montar esa infraestructura estarán muy contentas, pero tú no estarás en situación de generar valor para tu negocio hasta que, quizá, las premisas sobre las que construiste el proyecto estén ya obsoletas.
  • Algo que es inherente al uso de algoritmos de aprendizaje automático: los parámetros que producen los mejores resultados NUNCA se conocen de antemano, sino que son un subproducto intermedio del análisis de los datos.
    • Del mismo modo, salvo que nos dejemos llevar por un optimismo ciego, ni siquiera podemos estar seguros de que los resultados del análisis confirmarán nuestras hipótesis de partida.
    • Por tanto, resulta imposible prever de antemano el éxito o el fracaso (con respecto a los objetivos marcados) de ninguna de las tareas analíticas intermedias del proyecto y, menos aún, planificar tareas subsiguientes que dependan de ellas.

Con esas características, resulta evidente que un enfoque de proyecto en cascada, convencional, no es el que mejor va a sortear esos obstáculos y evitar esos riesgos. Hace falta adoptar una mentalidad ágil que se sienta cómoda con el progreso incremental y con la entrega de valor temprana, aunque sea pequeña y parcial.

Esto está lejos de ser lo normal, desgraciadamente.

Pero podemos resolverlo.

¿Cómo? El cómo lo dejamos para el próximo artículo de esta serie.