Unificar la empresa, los datos y el código

Capítulo 1. La necesidad de una estrategia unificadora de datos

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Imagínate como consultor de estrategia de datos, apoyando a ejecutivos con una serie de problemas en diversos sectores. En algunos casos, no se están cumpliendo los plazos, y te traen para que entiendas por qué. En otros casos, los ejecutivos tienen una visión de cómo quieren cambiar el mundo y quieren tu colaboración para diseñar, probar y construir rápidamente un prototipo para presentarlo en una conferencia mundial. A medida que trabajas con los ejecutivos para resolver diversos problemas, empiezas a ver patrones de lo que funciona y lo que no en el mundo de los datos, la innovación y la IA, y empiezas a preguntarte por qué.

En última instancia, tu papel consiste en identificar las causas profundas de los cuellos de botella de la innovación y ofrecer recomendaciones procesables para ayudar a las organizaciones a superar estos obstáculos y alcanzar sus objetivos. Si existiera un conjunto de principios y directrices para que los resultados de la innovación fueran más eficaces y fiables, eso te permitiría a ti y a tus clientes tener más éxito.

Una estrategia unificadora de datos es una forma de enfocar la innovación a través de la lente de ¿cuál es la cantidad mínima de esfuerzo colaborativo con datos que crea el máximo valor empresarial? No requiere ni recomienda ninguna tecnología específica, pero sí requiere que pienses en los datos desde una perspectiva holística para que puedas unificar a los equipos en torno a un lenguaje, una comprensión y una forma de trabajar juntos comunes.

Comienza tu búsqueda de avances basados en datos

Te ha contratado John, el director general de una empresa biofarmacéutica de vanguardia, que acaba de conseguir un importante capital riesgo para desarrollar una nueva terapia innovadora que podría curar una enfermedad que mata a millones de personas al año.

"El tiempo corre", dice John. "Cada día que pasa, corremos el riesgo de quedarnos atrás en la carrera por desarrollar una terapia que salve vidas, con miles de millones de dólares en contratos en juego. He prometido a nuestros inversores que nos guiaremos por los datos en todo lo que hagamos". El sustento de cientos de empleados está en peligro si no cumplimos, y, lo que es más importante, millones de personas están desesperadas por una cura."

John quiere una evaluación de los problemas de datos más importantes de la empresa y recomendaciones para una solución rápida y eficaz. A pesar de contar con un excepcional equipo de datos formado por doctores en ciencia de datos y biología de prestigiosas universidades, están teniendo problemas con el descubrimiento de fármacos, luchando perpetuamente contra los problemas de datos y dejando que ellos mismos y los equipos de I+D que dependen de ellos dediquen tiempo a apagar fuegos, a pesar de las continuas inversiones para aumentar el tamaño del equipo.

La presión es palpable. John tiene prevista una presentación dentro de unos meses ante los financiadores y la junta directiva de la organización, y éstos esperan ver un plan sobre cómo abordar la situación y conseguir los resultados que prevén. Colosales empresas farmacéuticas se apresuran a capitalizar tecnologías novedosas para enfermedades antes intratables, y miles de millones de dólares en contratos dependen de que la nueva terapia pase a la siguiente fase de los ensayos clínicos con un plazo fijo. Cada día perdido por problemas de datos pone en peligro el futuro financiero de la organización. Está en juego el sustento de cientos de personas y de las familias que mantienen. Todos los miembros de la organización trabajan más de 12 horas al día, sabiendo que si tienen éxito, formarán parte del equipo que cambió el mundo y ayudó a salvar millones de vidas.

Le pides a John que defina la única cosa que es más importante para definir cómo es el éxito. A esta única cosa la llamas Estrella del Norte, y te ayudará a evaluar si la gente está centrando sus esfuerzos en alinearse con la visión del director general. John habla con confianza de la toma de decisiones basada en datos para acelerar la investigación y afirma que el aprendizaje automático tiene el potencial de ahorrar años y millones de dólares en costes de I+D. La Estrella del Norte se enuncia así: tendremos las capacidades más avanzadas basadas en datos para el descubrimiento de fármacos. Tu impresión es que los datos impulsarán la I+D, y crees en la visión del director general.

Sin embargo, la definición de Estrella del Norte empieza a cambiar cuando John hace comentarios sobre cómo la cultura de la organización está dirigida por I+D, y queda claro que tiene una comprensión nebulosa de cómo funciona la ciencia de datos. John tantea con sus palabras, claramente incómodo porque sus declaraciones no resisten mucho escrutinio. No es para tanto, piensas. Te aseguras a ti mismo y al director general que juntos podéis hacer que la definición de la Estrella del Norte sea clara y sucinta.

Suele haber varias Estrellas del Norte en conflicto

Mientras entrevistas a los vicepresidentes y a sus directores subordinados sobre la Estrella Polar, descubres discrepancias sorprendentes en su perspectiva sobre la importancia de la ciencia de datos para guiar su trabajo. En efecto, la cultura de la organización está dirigida por la I+D, pero el director general dice que la Estrella Polar debe estar completamente orientada a los datos. El equipo de I+D se centra en realizar experimentos de biología y no tiene conocimientos de gestión de datos.

Los equipos de ciencia de datos y de ingeniería de datos son partes totalmente distintas de la organización, utilizadas principalmente para apoyar a I+D solucionando problemas de datos y gestionando las solicitudes de datos de toda la organización. I+D son los expertos en su campo, no los científicos de datos. ¿Qué significa la orientación a los datos si son los de I+D los que toman las decisiones basándose en su intuición?

La forma en que los equipos de datos ven qué problemas abordará la ciencia de datos y la estrategia de cómo se utilizará la ciencia de datos para tomar decisiones basadas en datos en I+D se desvían significativamente de la forma de pensar del director general sobre la Estrella Polar. Cuantas más personas preguntes qué es la Estrella Polar, más irreconocible será en todos los departamentos y niveles de la organización. Cuando interrogas a otros ejecutivos sobre estos puntos de vista dispares, descartan la Estrella Polar como una frase aspiracional y poco realista, en lugar de como el fundamento operativo de sus objetivos y su trabajo.

Lo bueno, lo malo y lo feo de los problemas de datos

Si profundizamos más, nos encontramos con que los líderes empresariales toman decisiones costosas, invierten en software y hardware que crea, conserva y difunde datos, sólo para encontrarse con que los equipos de datos dicen que los datos carecen de valor en su mayor parte porque se están ignorando problemas más profundos y significativos. El director general es completamente ajeno a la continua corrupción de datos que asola a la organización supuestamente basada en datos, adormecida en una falsa sensación de bienestar por las costosas facturas de almacenamiento de datos y computación en la nube. Como dice el refrán, basura entra, basura sale (GIGO).

Un vicepresidente te dice en privado que el mayor problema que hay que resolver es que todos los científicos trabajan con datos almacenados en sus correos electrónicos, PowerPoints, hojas de cálculo de Excel y archivos de valores separados por comas (CSV) en SharePoint. Nadie puede ver el trabajo de los demás ni aprender unos de otros. El vicepresidente está considerando la propuesta de consultoría de una empresa de la nube para una solución de lago de datos empresarial, con un gráfico de conocimiento, un catálogo de datos y otras herramientas empresariales caras que costarán millones de dólares a lo largo de varios años como parte de un proyecto de transformación digital. Estos expertos de confianza le dicen al vicepresidente que los datos de la empresa estarán totalmente bajo control, y que podrán obtener la información que desean los directivos.

Salvo por un problema: casi nunca funciona como se vendió la solución de datos. Esto suele tener menos que ver con los datos y más con la estrategia de tu organización, o más bien con la falta de una estrategia de datos unificadora eficaz en torno a cómo las personas de ámbitos muy diferentes y con perspectivas muy distintas deben entenderse y trabajar juntas.

El problema se reduce al proceso de convertir información empresarial abstracta en resultados concretos con el mínimo riesgo de errores. El equipo empresarial dice lo que quiere, esperando una progresión descendente como se muestra en la Figura 1-1. Si un equipo de desarrollo y datos traduce esto sin errores, se trata de una implementación de datos/código exitosa que representa con precisión un producto para servir a las necesidades operativas.

En el mundo de la gestión de datos, el verdadero reto no es la tecnología, sino el factor humano; las personas operan dentro de sus propios silos únicos, sesgando las perspectivas. Colmar estas lagunas es crucial. Los líderes empresariales suelen pensar en términos descendentes y centrados en las soluciones, dando prioridad a problemas inmediatos como: "Necesitamos la tecnología X para el problema Y", en lugar de profundizar en las causas profundas, como: "¿Por qué son tan altos nuestros costes en el área Z? ¿Y cómo podemos evitar que se produzca el problema? ¿Y qué más se ve afectado por el problema?". Este enfoque puede resolver problemas inmediatos de una sola unidad, pero descuida la salud general de la organización.

Por el contrario, los equipos de datos ofrecen una visión ascendente anclada en realidades logísticas y técnicas. Cuando los proyectos simplemente se entregan a un equipo de datos para su ejecución, una vez que el problema y la solución ya se han decidido, se producen choques de perspectivas que descarrilan los plazos y los presupuestos. El remedio es sencillo pero exigente: alinea estas perspectivas antes de pasar a la acción. Aclara las ambigüedades, colma las lagunas de conocimiento y elimina los puntos ciegos. Al hacerlo, desarrollarás una hoja de ruta unificada, alineando lo que la empresa quiere con lo que realmente necesita y, en última instancia, encontrando la mejor solución.

Esta forma de pensar requiere considerar los problemas de traducción entre los mundos de los negocios y de los datos como si fueran dos categorías distintas:

Problemas descendentes

Las estrategias y herramientas se tratan en la metodología de los Capítulos 4, 6 y 7.

Problemas ascendentes

Las herramientas y estrategias de la metodología abordan los enfoques ascendentes en los Capítulos 9 y 10.

Además, aprenderás que lo que hace que el Esquema JSON sea excepcionalmente útil es que tiene dos funciones básicas: la validación, que es excepcionalmente adecuada para los problemas de traducción de datos/negocios de arriba abajo, y la extracción de anotaciones, que también es extremadamente útil para la resolución de problemas de traducción de abajo arriba. Además, el Esquema JSON es legible por humanos y por máquinas, lo que lo convierte en la tecnología de código abierto ideal para que tu organización aplique una estrategia unificadora.

Figura 1-1. Unificar consiste en crear alineación y comprensión de los conceptos a medida que fluyen entre los equipos de negocio y de datos para satisfacer diferentes requisitos, minimizando la ambigüedad, las lagunas de conocimiento y los puntos ciegos. Mientras que el ejemplo de esta sección describe una dirección descendente, la siguiente sección, "El problema de los problemas", explora cómo es un enfoque ascendente. El objetivo de la unificación es la alineación en ambas direcciones.

Normalmente, estos proyectos empresariales a gran escala tardan años en implantarse con éxito. La gente se va y se implantan procesos que la gente o bien evita o nunca aprende. Hay resistencia a hacer las cosas de formas nuevas y a aprender nuevo software complejo. Los procesos taxonómicos pueden convertirse en cuellos de botella, se debaten las arquitecturas de las bases de datos, cambian las prioridades empresariales y las amenazas competitivas y, mientras tanto, empiezan a acumularse montañas de datos nuevos y desordenados a un ritmo más rápido del que puede manejar el proyecto de gestión de datos encargado de domarlos. En cinco años, el nuevo equipo directivo que sustituyó al anterior en una reorganización vuelve a pasar por lo mismo con un nuevo presupuesto, creyendo que tendrán una solución mejor gracias a algún nuevo paradigma y tendencia tecnológicos, pero nunca consiguen el estado de datos similar al Nirvana que todos ansían.

Nota

En el contexto del esquema JSON, la validación y la extracción de anotaciones desempeñan funciones distintas pero complementarias. La validación es el proceso de garantizar que un determinado documento JSON cumple las reglas y restricciones definidas en el esquema, como los tipos de datos o las propiedades requeridas. Esto ayuda a mantener la integridad y coherencia de los datos. Por otro lado, la extracción de anotaciones implica extraer metadatos adicionales o información descriptiva del documento JSON, como descripciones de campos o valores por defecto. Aunque estas anotaciones no afectan al proceso de validación, proporcionan un contexto adicional que puede utilizarse para generar documentación, consejos sobre herramientas en una interfaz de usuario u otras funcionalidades complementarias. Juntas, la validación y la extracción de anotaciones contribuyen tanto a la solidez como a la usabilidad de las estructuras de datos basadas en JSON. Aprenderás más sobre JSON y JSON Schema desde una perspectiva técnica en los Capítulos 2 y 5, y cubrirás la validación y las anotaciones en el Capítulo 8.

Si los equipos no colaboran bien, y si los líderes y los empleados no están alineados en su estrategia de datos, ¿por qué la implantación de una solución empresarial extremadamente complicada se realizaría sin problemas, rápidamente o con éxito? De eso trata la unificación, de ahí el título de este libro. Se trata de una estrategia de datos que se centra en la forma más eficaz y sencilla de iniciar proyectos centrados en los datos: alinear a las personas antes de pisar el acelerador.

Consejo

Ir más rápido en la dirección equivocada no es progresar. Tus equipos tienen que saber adónde van, por qué sus esfuerzos son importantes para el objetivo y cómo pueden trabajar bien juntos.

El problema de los problemas

Te entusiasma que tu trabajo pueda ayudar a salvar vidas, te inspira la pasión de la gente y crees en la comprensión que tiene la empresa del valor de los datos. Escuchas los relatos de las partes interesadas sobre cuáles son los mayores problemas y empiezas a volcar tu creatividad e ingenio en la búsqueda de una solución. Realizas entrevistas, creas hojas de ruta y empiezas a construir un prototipo, pensando que has creado algo realmente asombroso que la empresa celebrará.

Excepto que descubres, tras meses de construir tu versión alfa, que los interesados no te informaron de algún otro problema que sólo surgió cuando los empleados de menor nivel (que no formaban parte de tus entrevistas) empezaron a utilizar la aplicación, y eso invalida totalmente el planteamiento de tu solución. De repente tienes que replanteártelo todo desde cero, y todo tu trabajo anterior se ha echado a perder. Bienvenido a la innovación.

Agile es una metodología popular que hace hincapié en enfoques flexibles e iterativos para el desarrollo de productos y la gestión de proyectos. Ser Ágil significa ser capaz de obtener información lo antes posible sobre lo que falla y por qué, que es la información más importante que se puede obtener. La agilidad implica aprender rápidamente sobre los fracasos y sus causas, que es la información más crucial que se puede obtener. Al identificar más rápidamente las ideas menos exitosas, puedes ahorrar tiempo y esfuerzo, acelerando así el descubrimiento de soluciones eficaces.

Para obtener opiniones lo antes posible, decides que, en lugar de construir un nuevo prototipo codificado, vas a diseñar un prototipo de papel, dibujando la solución en un trozo de papel grande con un rotulador y pidiendo a la gente que haga clic en los botones de papel, pasando a diferentes trozos de papel para representar diferentes pantallas. A todo el mundo le encanta, y tú te sientes como un héroe. ¡Hurra! Construyes otro prototipo ahora que tienes algo validado: ¡lo has conseguido!

Entonces, mientras atraviesas las etapas finales de la validación, una parte interesada te sugiere que presentes tu solución a la junta médica asesora. Te informan de un requisito legal en torno a una palabra de uso común que invalida totalmente un conjunto importante de características de tu trabajo anterior que dedicaste un montón de tiempo a probar.

Ningún esfuerzo por ser Ágil te dará lo que necesitas si te centras en el problema equivocado, o si ni siquiera sabes qué problema intentas resolver.

Éste es el problema de los problemas: ¿Cómo sabes qué problemas son los que hay que resolver? Esto es especialmente cierto cuando se trata de organizaciones que tienen perspectivas aisladas e intereses no holísticos. Los líderes tienen presupuestos, recuentos de personal y reputaciones que proteger. Sus problemas son los más importantes para ellos.

Un error crítico que suelen cometer los líderes organizativos es no saber qué tipo de problema intentan resolver. Si intentan resolver un problema de arriba abajo, zambulléndose en soluciones sin comprender realmente el problema, los esfuerzos pueden ser erróneos. Apresurarse a buscar soluciones sin una comprensión adecuada -y limitarse a ser ágil e iterar con rapidez- hace poco o nada por garantizar el éxito.

La figura 1-2 muestra dónde la unificación puede crear alineación en la resolución de problemas. La profundidad de la comprensión y la elección de los problemas "correctos" y la "forma" correcta de resolverlos marcan la diferencia. Determinar qué problemas son los correctos implica comprenderlos en el contexto de tender puentes entre los mundos del lenguaje conceptual (empresarial) y técnico (datos) y sus resultados operativos (síntomas).

Figura 1-2. Unificar consiste en dotar a los campeones de datos de la capacidad de comprender los problemas y traducirlos entre las perspectivas empresarial y del equipo de datos, tanto si requieren enfoques de resolución de problemas descendentes como ascendentes. La frase "el problema de los problemas" sirve para recordar este principio, destacando los escollos de un enfoque precipitado y los beneficios de una comprensión profunda.

La resolución eficaz de problemas comienza con una comprensión profunda. Esto implica reconocer cómo se conectan los problemas a través de las redes organizativas y de los ámbitos conceptual, técnico u operativo. Los líderes tienen que comprender el problema de los problemas, porque si intentan abordar los problemas desde un enfoque descendente cuando lo que se necesita es un enfoque ascendente, sólo están reaccionando a los síntomas y no abordando las causas profundas.

Consejo

Conoce qué tipo de problema estás resolviendo, concreto o abstracto, antes de tomar una decisión sobre cómo resolverlo.

Si una organización opera de forma Ágil para acelerar el desarrollo antes de comprender el problema que están trabajando en resolver, qué priorizar y por qué, entonces los equipos están construyendo más rápido las cosas equivocadas. El problema de los problemas es el problema fundamental a resolver. Examinemos qué puedes hacer para abordarlo.

Unificar conceptos: La clave de la innovación

Diseño primero el concepto pide a la gente que explique en lenguaje sencillo la lógica empresarial que utiliza para alcanzar sus objetivos, los problemas que tiene y con quién y cómo colabora. Esa lógica empresarial se traduce en una estructura sencilla de pseudocódigo, lo bastante sencilla para que cualquiera pueda leerla, pero lo bastante estructurada para que pueda utilizarse como una guía aproximada para construir sistemas. En resumen, antes de empezar a diseñar o construir, se pide a la gente que describa qué conceptos clave son importantes para las tareas que realizan en el trabajo y por qué.

El conocimiento vital a menudo existe en las cabezas de las personas sin un mapa compartido que ayude a alinear la comprensión y la toma de decisiones. La única forma de ver que las diferencias en la comprensión de los conceptos y el lenguaje pueden poner en riesgo la capacidad de las personas para colaborar juntas con eficacia es tomar el mapa difuso e implícito que hay en la cabeza de las personas, con el que los equipos creen estar alineados, y convertirlo en un mapa conceptual externo y centrado.

Este proceso implica evaluar y comparar tres aspectos clave de cómo se gestiona y utiliza la información en tu organización:

1. La finalidad y el diseño de los conceptos operativos utilizados en los procesos empresariales

2. Estructuras de datos y cómo representan los conceptos utilizados en los procesos empresariales

3. Métodos de comunicación para comprender en profundidad cómo se transmiten los conceptos y se toman las decisiones

Al integrar estos tres aspectos en un único mapa, puedes visualizar las conexiones entre personas, problemas, objetivos y resultados. Este mapa ayuda a identificar y colmar las lagunas de conocimiento en una fase temprana. Sin este mapa, las personas pueden estar tomando decisiones costosas y significativas sin una comprensión compartida de la situación actual de su equipo, su destino previsto o las estrategias para llegar a él. Tomar decisiones para construir cosas sin un mapa cohesionado y completo es una forma fácil de caer en la trampa de construir lo equivocado más rápidamente.

Crear un mapa estructural unificado de lógica, objetivos, problemas y métricas de éxito antes de diseñar, construir y probar el software puede ahorrar mucho tiempo y dinero, haciendo que tu desarrollo de software sea más eficaz y rentable.

Consejo

Recuerda que el objetivo es encontrar fallos lo antes posible. Mantenerte en el nivel conceptual te permitirá avanzar más rápido.

Se centra en captar y definir las ideas fundamentales, la lógica empresarial y los objetivos que sustentan el sistema o la aplicación que se está desarrollando. El objetivo es garantizar que todas las partes interesadas compartan la misma comprensión de los conceptos fundamentales y que el diseño se ajuste a la finalidad prevista y a los resultados deseados.

Las ventajas del diseño "primero el concepto" son

Claridad conceptual

Se definen los conceptos, ideas y principios clave, incluida la lógica empresarial, los objetivos y los problemas que el sistema pretende resolver.

Alineación temprana

Definir y aclarar los conceptos al principio del proceso de desarrollo evita errores de comunicación que podrían haber requerido una costosa reelaboración más adelante en el proceso de desarrollo.

Perspectiva holística

Se hace hincapié en cómo la información se conecta, fluye y se utiliza fuera de los silos operativos humanos.

Enfoque centrado en el usuario

Se hace especial hincapié en comprender las necesidades y objetivos de los usuarios finales. El proceso de diseño se centra en las experiencias del usuario para crear soluciones que sean intuitivas, eficaces y satisfactorias para los usuarios.

Consejo

Crea soluciones bien pensadas y resueltas empezando por comprender claramente los conceptos y objetivos fundamentales que impulsan el sistema o la aplicación. Empieza a probar los conceptos en los que tú y otras partes interesadas creéis, obteniendo retroalimentación de forma ágil e iterativa. Cuanto más complejos son los proyectos, más fundamental es una comprensión profunda de los conceptos subyacentes para el éxito del proyecto.

Cuando uno de los autores de este libro, Ron Itelman, tropezó con el diseño del concepto primero y lo utilizó con éxito, los resultados fueron impactantes. Primero se identificaron todos los puntos de conflicto conceptual y de alineación, y los líderes consiguieron que los equipos se pusieran de acuerdo en un único modelo operativo. No se diseñó ni construyó nada hasta que los equipos de todos los silos pudieron ponerse de acuerdo sobre qué significaban los conceptos, cómo fluían y qué lógica empresarial soportaban. El objetivo era simplemente ¿podemos ponernos de acuerdo sobre un conjunto de conceptos, cómo se utilizan, quién los utiliza y por qué? Esto es diferente de los enfoques en cascada, en los que todo se planifica meticulosamente para construirse según un calendario.

La construcción e implantación del nuevo sistema se realizó sin problemas; no hubo puntos de fricción, y se diseñó, construyó y probó en tres meses. El sistema era tan eficaz en la creación de grandes volúmenes de datos de alta calidad, ricos y significativos, que la empresa de capital riesgo que compró la empresa pagó una prima sólo por los datos. Esa experiencia llevó a Ron a seguir investigando y a desarrollar una estrategia de innovación basada en el fundamento de unificar conceptos a través de las redes organizativas .

Lo que una estrategia de datos unificadora hará por la agilidad

La raíz de cualquier problema al que se enfrente una empresa no es la tecnología. Es el problema de los problemas: que los líderes y los equipos no están unificados en su lenguaje, comprensión o esfuerzos para priorizar y resolver los problemas que les impiden alcanzar objetivos que impulsen los ingresos, reduzcan los costes y creen valor.

Nota

Históricamente, Ágil fue un conjunto de principios fruto de la frustración por la forma tan estructurada en que se redactaban los contratos de desarrollo de software; no había margen para desviarse del trabajo acordado. Esto era casi imposible, porque a medida que comenzaba el trabajo de desarrollo de software, surgían problemas, necesidades y perspectivas inesperadas. Si los desarrolladores sólo se centraban en los requisitos, entregaban algo que exigía largas negociaciones contractuales. Los desarrolladores y las partes interesadas solían estar separados. Los principios ágiles originales consistían en crear comunicación, iterar y adaptarse rápidamente para aprender lo que funciona y lo que no, y entregar algo de valor de forma modular frente a monolítica.

Se han creado muchos otros libros, estrategias y marcos para formalizar Agile a su manera, que este libro no cubre. Este libro es el resultado de años de investigación sobre los principales puntos conflictivos de la colaboración con datos, y propone una estrategia de gestión de datos que se alinea con los principios ágiles originales.

Tradicionalmente, los equipos trabajan en sus áreas funcionales, pero los datos son holísticos, pertenecen a toda la organización. Esta es una de las principales razones por las que los equipos de datos suelen tener problemas con las formas tradicionales de aplicar las estrategias Agile en las organizaciones. Una estrategia de datos unificadora permite ampliar la visión para identificar y resolver los retos de toda la empresa para centrarse en los datos, además de ampliar la visión para operar como un equipo Ágil tradicional, utilizando una lente centrada en los datos para impulsar el valor empresarial.

Definición de ser ágil

Ningún mecanismo de la naturaleza o de la tecnología es más omnipresente que el mecanismo de retroalimentación.

Bernard Friedland(Diseño de sistemas de control, Prentice Hall, 2005)

Si preguntas a 1.000 personas qué es Agile o cómo funciona, obtendrás 1.000 perspectivas, que van desde interpretaciones laxas como "Agile significa que no necesitas requisitos y tienes una reunión rápida todos los días durante 15 minutos para hablar de dónde estás bloqueado" y "Agile sólo significa averiguar lo que funciona y desechar lo que no", hasta otras muy estructuradas como "tienes que medirlo todo en puntos de historia y medir la velocidad en hojas de cálculo, analizando la productividad cada dos semanas" y "tienes que certificar al equipo y tener expertos dedicados a la gestión Agile".

A efectos de este libro, simplificaremos lo que significa Ágil y lo que significa una estrategia de datos Ágil. Este libro define las tres formas principales de ser Ágil de la siguiente manera:

Elimina la ambigüedad

Comprende en profundidad los problemas, los objetivos y las personas, e identifica lo que sabes y lo que no sabes. Este conocimiento suele proceder de conversaciones con clientes, partes interesadas, clientes de tus competidores e investigación sobre UX.

Iterar rápidamente

Prueba lo que puedas para validar o invalidar las suposiciones. Pueden ser pruebas A/B, prototipos con espuma de poliestireno o con código. El objetivo de la iteración es obtener información -que puede ser cualitativa (encuestas y conversaciones que ayuden a explicar lo que los datos no pueden explicar) o cuantitativa (datos numéricos de observaciones)- lo más rápida y directamente posible para eliminar la ambigüedad.

Adaptar la atención al valor

Procura progresar en lugar de pasar demasiado tiempo estableciendo prioridades y atascándote en debates. La atención adaptativa significa eliminar las distracciones y estar dispuesto a cambiar de enfoque. La atención debe estar siempre alineada con las acciones que producirán el mayor valor empresarial y los mejores resultados.

Teatro Ágil

Si no cambias de dirección, puedes acabar donde te diriges.

Lao Tzu, filósofo taoísta chino, siglo V a.C.

Al entrevistar a directores de producto, ingenieros, diseñadores y gerentes sobre los retos que plantea ser ágil, las conversaciones giran casi siempre en torno a la medición de la velocidad, el incumplimiento de los plazos y el cambio de requisitos a medida que se obtiene nueva información. Pensar en la velocidad como productividad puede ser una trampa; construir las cosas equivocadas más rápido no equivale al éxito. La productividad por la productividad no crea valor. Hacer reuniones por hacer no es progresar. Si tus equipos ágiles no eliminan la ambigüedad, iteran con rapidez y adaptan la atención a lo que genera impacto y valor empresarial, entonces tus procesos ágiles corren el riesgo de convertirse en un teatro ritual.

En las organizaciones, la responsabilidad se distribuye entre varias partes interesadas. Las partes interesadas ágiles colaboran para garantizar que los productos, procesos y servicios no sólo sean fiables y funcionales, sino que también generen valor sostenible. Sin embargo, medir el éxito únicamente a través de los puntos de velocidad -una métrica Ágil que cuantifica la cantidad de trabajo que un equipo puede abordar durante un único sprint- puede provocar consecuencias no deseadas. Este enfoque puede incentivar a los ingenieros a manipular la forma en que asignan y completan los puntos, dando lugar a una cultura defensiva y autoprotectora conocida como "cúbrete las espaldas " (CYA) que no genera valor empresarial.

Un énfasis excesivo en las métricas de velocidad puede animar a los individuos a explotar el sistema, centrándose más en inflar sus estadísticas -como cuántos puntos de historia han completado- que en la auténtica innovación. Pero el verdadero objetivo de la innovación no consiste en completar el mayor número de puntos de la historia. Se trata de crear valor empresarial, influir positivamente en los compañeros y servir eficazmente a los clientes.

Ágil, en cascada y unificador

La unificación se distingue por sí misma. En lugar de pensar en ella como una metodología más, imagina la unificación como el "diapasón" de la gestión de proyectos. Al introducirla antes de que comience el diseño o la construcción, garantiza que, tanto si optas por la metodología ágil como por la de cascada, tu enfoque esté afinado para lograr la máxima eficacia y alineación. Piensa en ello como si ajustaras continuamente un instrumento musical para tocar las notas adecuadas; unificar calibra continuamente la dirección y el propósito para garantizar la armonía en la ejecución, como se muestra en la Tabla 1-1.

Unificar alinea a nivel conceptual para minimizar los costosos riesgos de malentendidos y errores. Adelanta la colaboración y la innovación, actuando como herramienta para determinar la metodología óptima -ya sea Ágil o en cascada- que garantice las mayores probabilidades de éxito del proyecto.

Tabla 1-1. Las ventajas de las metodologías ágiles y en cascada, y cómo la unificación las complementa

Cascada	Ágil	Con la unificación
Hitos definidos y medidas de progreso desde una perspectiva macro.	Flexible a los cambios y mejorando la fijación de objetivos en la microperspectiva.	Calibra continuamente las perspectivas, con el objetivo de conocer cuantitativamente la dirección correcta antes de actuar.
Los segmentos de la entrega, como los procesos de fábrica o de la cadena de suministro, pueden optimizarse independientemente.	Entrega más rápida, desarrollo incremental y lanzamientos regulares.	Se centra en eliminar y reducir el esfuerzo innecesario minimizando la ambigüedad, las lagunas de conocimiento y los puntos ciegos.
Permite que los segmentos se muevan de forma autónoma, creando independencia e integridad para las responsabilidades de cada unidad.	Obteniendo información periódica mediante la participación de las partes interesadas y los usuarios finales a lo largo del proceso de desarrollo, Agile garantiza que el producto evolucione en función de las necesidades reales de los usuarios.	Sirve de traductor entre los equipos técnicos y las partes interesadas del negocio utilizando el esquema JSON, asegurando una visión unificada entre ambas partes, evitando así costosos desajustes.

Definir un Enfoque Unificador de la Estrategia de Datos

Para que la analítica, la ciencia de datos y el aprendizaje automático permitan mejorar la toma de decisiones, necesitan datos de alta calidad que representen con precisión las situaciones y los resultados empresariales. Con demasiada frecuencia, se espera que los científicos de datos peinen montañas de datos de mala calidad y extraigan milagrosamente ideas, cuando deberían haber participado en los procesos de toma de decisiones.

Los líderes empresariales no saben lo que no saben y son reacios a dedicar tiempo que no tienen a comprender los conceptos de la ciencia de datos. Mientras tanto, los científicos de datos a menudo no comprenden la colaboración y la dinámica empresarial de las finanzas, el diseño, la gestión de productos y el desarrollo de software, aislados como están en enigmáticos reinos de jerga matemática y herramientas de datos.

En este libro exploraremos los retos de innovación a los que se enfrentan las organizaciones y la importancia de adoptar una estrategia de innovación centrada en los datos. La falta de una comprensión compartida de los objetivos, y las lagunas de comunicación entre los líderes empresariales y los científicos de datos, contribuyen a las dificultades y pueden conducir a inversiones en tecnología inadecuada.

Superar los obstáculos en torno a los datos requiere fomentar una cultura centrada en los datos que haga hincapié en la colaboración, la recopilación de datos de alta calidad y la participación estratégica de los equipos de datos y ciencia de datos. Comprender los problemas que rodean a los datos ayuda a las organizaciones a transformarse en auténticas centrales de datos, garantizando que puedan liberar todo el potencial de sus datos y lograr los resultados deseados.

Un enfoque unificador de la estrategia de datos utiliza las tres características de ser Ágil -eliminar la ambigüedad, iterar rápidamente y adaptar la atención al valor- y añade algunos factores clave:

Perspectiva holística conectada

Para que los datos sean valiosos, deben estar conectados en toda la organización. Los datos no pertenecen a ningún equipo; las personas van y vienen, los equipos se reorganizan y cambian, pero los datos pertenecen a la organización. Una estrategia de datos unificadora reúne las distintas unidades funcionales de la empresa, los datos que recogen y por qué son importantes.

Flujos de información

Para que los datos sean utilizables, deben poder fluir y combinarse y transformarse. Es fundamental comprender cómo fluyen los datos entre equipos con lenguajes, modelos mentales y problemas diferentes.

Datos mínimos viables (MVD)

La toma de decisiones basada en datos requiere la calidad y cantidad adecuadas de datos. Los datos mínimos viables (MVD) son la menor cantidad posible de datos de alta calidad necesarios para hacer predicciones fiables e impulsar el valor. No basta con tener un gran volumen de datos si la calidad es mala, como en GIGO.

Comprender la Frase Estar Guiado por los Datos

Casi todas las organizaciones dicen que quieren orientarse por los datos para maximizar la eficacia y optimizar la toma de decisiones. Pero, ¿qué implica esto realmente?

Laeficiencia es la capacidad de lograr un resultado deseado con el mínimo desperdicio de tiempo, recursos o esfuerzo. Cuando una organización está alineada, agiliza naturalmente los procesos y elimina los esfuerzos redundantes. Los equipos pueden trabajar sin problemas, reduciendo el riesgo de falta de comunicación, errores y malentendidos. Esto se traduce en plazos más rápidos de finalización de los proyectos y un uso más eficaz de los recursos.

Laeficacia es la capacidad de lograr los resultados deseados con un grado superior de precisión o calidad. La alineación puede mejorar la eficacia garantizando que todos trabajen armoniosamente para alcanzar las metas y los objetivos de forma centrada.

Una organización está impulsada por los datos cuando domina la producción y el análisis de datos, lo que permite a los responsables de la toma de decisiones aprender más rápido, hacer predicciones de mayor calidad e identificar antes los problemas y las oportunidades. En otras palabras, siguen tomando decisiones y equilibrando la información con la experiencia, pero las decisiones se toman con los datos de mayor calidad que pueden utilizar.

Esto es lo contrario de HIPPO, que significa opinión de la persona mejor pagada. Las decisiones HIPPO se toman cuando se da prioridad a la opinión de alguien debido a su antigüedad, en lugar de porque se hayan recopilado datos para evaluar si las opiniones y suposiciones no son válidas. Debido a la reticencia a cuestionar la HIPPO, las decisiones HIPPO tienden a ponerse a prueba sólo después de que se haya gastado tiempo y dinero y las cosas hayan ido mal. Peor aún, las malas decisiones de la HIPPO a menudo acaban siendo achacadas a los equipos que se supone que deben ceder ante los empleados superiores.

Para orientarte por los datos, céntrate en ellos

Paradójicamente, los datos son el aspecto más infravalorado y desglamourizado de la IA... Definimos, identificamos y presentamos pruebas empíricas sobre las cascadas de datos -acontecimientos agravantes que causan efectos negativos derivados de problemas con los datos- desencadenadas por prácticas convencionales de IA/ML que infravaloran la calidad de los datos. Las cascadas de datos son omnipresentes (92% de prevalencia), invisibles, tardías, pero a menudo evitables.

Google Research, "'Todo el mundo quiere hacer el trabajo del modelo, no el de los datos': Cascadas de datos en la IA de alto riesgo", 2021.

Disponer de datos de mayor calidad puede tener un impacto significativamente mayor en el valor de los datos en comparación con mayores volúmenes de datos de menor calidad. Los buenos datos suelen ser mejores que los big data porque su calidad, relevancia y precisión minimizan la información irrelevante, incorrecta o engañosa, y requieren menos recursos para su procesamiento.

Los buenos datos facilitan la comunicación de ideas a las partes interesadas y facilitan la toma de decisiones basada en los datos, reduciendo los riesgos y creando un verdadero valor reutilizable en toda la organización. Cuando una organización valora los datos como un recurso crítico e invierte en la producción y el mantenimiento continuos de datos de alta calidad y ricos en funciones para maximizar la eficacia y la eficiencia operativas, entonces la organización puede decir que está impulsada por los datos.

Ciertamente, utilizar datos de mala calidad y pedir a los equipos de datos que encuentren valor sin incluirlos en las decisiones empresariales y los esfuerzos de innovación no es estar impulsado por los datos. Por desgracia, la norma para muchos equipos es utilizar datos de mala calidad y no incluir a los equipos de datos en la toma de decisiones. Muchas organizaciones operan bajo la falsa suposición de que se guían por los datos, cuando no es así. He aquí un ejemplo del mundo real. Una empresa global multimillonaria invirtió una importante cantidad de dinero en su sistema Salesforce. Los equipos de ventas debían registrar el interés de los clientes potenciales por un servicio. Los análisis mostraban que los equipos de ventas tenían una tasa de cierre del 30%, lo que significa que una de cada tres conversaciones desembocaba en una venta. Sin embargo, tras un examen más detallado, ¡se descubrió que esa cifra no tenía ningún sentido!

Los vendedores no quieren documentar cada vez que pierden una venta, así que sólo introducían los datos de ventas cuando estaban seguros de poder realizar una venta. Algunos vendedores sólo introducían esos datos cuando confiaban en poder hacer una venta, y otros simplemente evitaban la tarea por completo. Cuando se ganaban o perdían ventas, pocos o ningún miembro de ventas registraba información sobre el motivo, aparte de seleccionar una casilla de verificación genérica que era la selección por defecto. Desde una perspectiva de liderazgo empresarial, la organización había invertido mucho dinero en Salesforce y tenía muchos datos, pero tras varios años recopilando datos, cuando intentaron predecir quién compraría qué servicio para saber en quién centrarse o qué productos desarrollar, acabaron sin obtener absolutamente nada aprovechable de sus cuantiosas inversiones.

Para orientarse a los datos, las empresas deben empezar por centrarse en los datos: examinar todo en sus procesos empresariales operativos para asegurarse de que los datos realmente viven en el centro de sus actividades. En el ejemplo anterior, esto implicaría que un diseñador optimizara la interfaz de usuario de Salesforce para que fuera intuitiva y se asegurara de que la información pudiera aprovecharse eficazmente. Para asegurarse de que la captura de datos es precisa, hay que formar a los directivos para que incentiven a los equipos a capturar datos y sepan cómo obtener valor inmediato de los datos precisos.

Consejo

Siempre hay que pensar en los datos como el centro del universo.

Aquí tienes una lista de comprobación que puedes utilizar para evaluar hasta qué punto tu organización está centrada en los datos:

• ¿Cómo se gestiona la recogida de datos de los empleados?

• ¿Hay alguien responsable de la calidad de los datos y de una estrategia centrada en los datos?

• ¿Qué inversiones se han realizado en la formación de directivos y equipos sobre los datos?

• ¿Se financian experimentos y esfuerzos de innovación para aprender a crear valor a cambio de la recogida de datos?

• ¿Qué nivel de detalle tienen los datos recogidos y cómo se mide su calidad?

Los cuellos de botella que impiden que los equipos se guíen por los datos

100% de los clientes son personas. El 100% de los empleados son personas. Si no entiendes a las personas, no entiendes el negocio.

Simon Sinek, Empieza por qué (Portfolio, 2009)

A lo largo de los años, los autores de este libro han investigado los principales puntos de dolor y los cuellos de botella a los que se enfrentan los equipos de datos. La dura verdad es que los líderes empresariales suelen comprender poco las complejidades de la gestión de datos y no desean sentirse expertos, y no aprecian realmente la tecnología. Lo que les importa a los líderes es aumentar los beneficios, reducir los costes y crecer lo más rápido posible. Después de eso, se preocupan por reducir los riesgos. Si tienes suerte, una organización puede tener una cultura filantrópica o de desarrollo de los empleados.

Los líderes empresariales quieren sus informes, cuadros de mando y perspectivas, pero no tienen ni idea de que la persona a la que piden que genere un informe a menudo tiene que escarbar en pantanos de datos para encontrar mil archivos CSV, sin saber quién los creó ni por qué, ni siquiera qué significan los encabezados de las tablas.

Imaginemos que un analista de inteligencia empresarial recibe instrucciones para generar un informe trimestral de proyección de ventas. Este informe permite al equipo financiero asegurarse de que están saneados operativamente, pueden pagar el salario y otros gastos, y pueden preparar informes para la SEC. Las proyecciones inexactas pueden tener consecuencias legales y enormes repercusiones en el precio para los accionistas.

En primer lugar, el analista de inteligencia empresarial debe reunirse con las partes interesadas, que casi nunca saben qué datos existen ni cómo se generan. El analista obtiene acceso a datos financieros sensibles almacenados en CSV, Excel, JSON y otros formatos, escarbando en conjuntos de datos con términos de uso común, como Ingresos, sin ser consciente de que distintos equipos pueden tener significados ligeramente diferentes sobre cómo se calculan los ingresos. Por ejemplo, un equipo de ventas podría definir los ingresos como la venta total a un cliente, mientras que un contable podría definirlos como la venta menos la comisión del vendedor.

Después de escarbar en el pantano de datos, el analista tiene que organizar más reuniones para verificar estos significados y preguntar qué conjunto de datos es la fuente de la verdad. Si el analista no tiene suerte, no descubrirá los distintos significados, sólo para que el equipo financiero descubra meses después que algo ha ido mal y que se tomaron decisiones financieras importantes y costosas basándose en el informe defectuoso del analista. El equipo financiero culpa ahora al analista. Bienvenido a la experiencia de la gente de datos.

El proyecto de este libro: Inteligencia Artificial Granos de Café

Para demostrar la aplicación de una estrategia unificadora de datos, vamos a trabajar con un problema y unos conjuntos de datos de muestra y exploraremos estrategias para trabajar eficazmente con los datos desde una perspectiva técnica y empresarial. Intelligence.AI es la empresa que fundaron los autores de este libro. La presentaremos como una empresa ficticia que vende granos de café de primera calidad de todo el mundo con un toque humorístico e inspiradoras ilustraciones en las bolsas de café, como se muestra en la Figura 1-3. La empresa es pequeña, pero está creando una presencia en Internet y quiere basarse en los datos.

Eres el director general de Intelligence.AI. Tienes que decidir qué canales de marketing son más eficaces para impulsar las ventas y captar nuevos clientes. Tu responsable de marketing ha asignado presupuestos a redes sociales, campañas de correo electrónico y promociones en tienda, pero carece de información sobre el rendimiento de la inversión (ROI) de cada canal. Quieres comprender los factores que influyen en la captación de clientes para optimizar el gasto de tu presupuesto y tomar decisiones informadas sobre la gestión del inventario y la fijación de precios. Para hacer frente a estos retos, Intelligence.AI decide adoptar un enfoque unificador de estrategia de datos para analizar los datos disponibles y proporcionar perspectivas procesables.

Figura 1-3. Productos de la tienda virtual ficticia Intelligence.AI. Esta tienda proporcionará ejemplos de la aplicación de una estrategia de datos unificadora a una pequeña empresa de comercio electrónico, incluyendo la gestión del inventario, los precios, la captación de clientes, el diseño y la redacción. Imágenes creadas con Midjourney (5/11/2023). Imagen de la izquierda: "un osito de peluche cantando apasionadamente en un micrófono de precisión hiperrealista 8K, e hiperrealista 8K". Imagen derecha: "un perro y un gato acurrucándose juntos, monos, preciosos, adorables".

Los conjuntos de datos de que dispones abarcan ventas, marketing y atención al cliente. Tienes previsto hacer pruebas A/B de diseños de bolsas de café utilizando etiquetas con anotaciones para describir los conceptos que aparecen en los diseños (por ejemplo, osito de peluche, perro, gato). Una forma eficaz de trabajar con datos es utilizar JSON, el formato de datos más popular en la actualidad. JSON es un lenguaje universal fácil de leer e increíblemente potente para las aplicaciones basadas en datos. Aprenderás más sobre JSON en el Capítulo 2, y a lo largo del libro irás unificando los conjuntos de datos de tu negocio de café.

Resumen

En la mayoría de las organizaciones, existen perspectivas contradictorias sobre la Estrella Polar, o principio rector, especialmente en lo que respecta a centrarse verdaderamente en los datos. Aunque los líderes hagan hincapié en un enfoque basado en los datos, los problemas con los datos abundan, lo que a menudo da lugar a costosas inversiones que no abordan los problemas fundamentales: cómo pensar en los datos desde una perspectiva holística e identificar los problemas correctos que hay que resolver. Estar orientado a los datos requiere un compromiso real para crear, conservar y difundir datos de alta calidad y apoyar una cultura centrada en los datos.

El diseño "primero el concepto" consiste en traducir la lógica empresarial en sencillas estructuras de pseudocódigo, lo que aclara los conceptos clave y alinea a las partes interesadas, evitando errores de comunicación y costosas repeticiones.

Una estrategia de datos unificadora te permite identificar, abordar y aprender rápidamente de los fallos. Para implantar una estrategia de datos unificadora, céntrate en eliminar la ambigüedad, iterar rápidamente y adaptar la atención a la creación de valor. Los costes de no tener una estrategia de datos unificadora son los cuellos de botella, los pantanos de datos y el uso incoherente del lenguaje, que dificulta la toma de decisiones basada en datos.

En el Capítulo 2, nos adentraremos en el mundo de JSON, un popular formato de datos fácil de leer y potente para las aplicaciones basadas en datos. Comprender JSON es crucial para implementar una estrategia de datos unificadora, ya que proporciona un lenguaje universal para estructurar e intercambiar datos. En los Capítulos 3 y 4, exploraremos cómo conectar tu estrategia unificadora de datos a tu código.