Como propietario de producto, mi objetivo siempre ha sido simple: averiguar qué es lo más valioso que el equipo puede construir y ayudarles a construirlo. Tanto si estamos trabajando en un nuevo producto, perfeccionando uno ya existente o en una transformación digital general, permitir que los datos informen sobre la dirección y la priorización es un código de trucos para obtener resultados positivos, no solo para la cuenta de resultados de la empresa, sino también para la moral del equipo. Utilizar los datos desde el principio evita que construyamos algo equivocado y nos permite pasar antes a la siguiente iniciativa al reducir el número de iteraciones necesarias.
La idea de construir a partir de datos es casi siempre fácil de vender a las partes interesadas, pero su ejecución efectiva es ciertamente más complicada. La recopilación de datos puede ser costosa y lenta, y comprender sus limitaciones es fundamental para garantizar que el equipo extrae conclusiones correctas. En este artículo nos adentraremos en algunas buenas reglas sobre qué datos se pueden utilizar y cuándo, para que podamos informar eficazmente a nuestro plan de producto.
Datos cuantitativos
Empezando por lo básico, hay dos tipos principales de datos que deben recopilarse para informar el plan de producto: cuantitativos y cualitativos. Se diferencian en la forma de recopilarlos y en la información que se puede extraer de ellos. Los datos cuantitativos, caracterizados por valores numéricos, ofrecen una visión panorámica del comportamiento. Pueden señalar la ubicación de los problemas y los éxitos en el recorrido del usuario. Los datos cuantitativos están en todas partes en el producto, y tiene sentido que estén en todas partes porque pueden proporcionar un análisis concreto del comportamiento general del usuario y son fáciles de digerir, ya sea comunicándolos a la dirección o al equipo de desarrollo. Desde las estadísticas de tráfico del sitio web, pasando por las estadísticas de uso del producto, hasta los indicadores clave de rendimiento (KPI), pueden ser una medida clara y valiosísima. También es fácilmente escalable, aunque las herramientas utilizadas para capturar las métricas cuantitativas pueden necesitar evolucionar a lo largo del ciclo del producto, cosas como la tasa de conversión siempre se pueden medir si el tráfico es de 50 usuarios diarios a 50 millones.
Las herramientas para recopilar datos cuantitativos no tienen por qué ser sofisticadas ni caras. Para equipos pequeños o productos nuevos, desarrollar KPI sencillos y realizar su seguimiento en un documento de Excel puede ser un excelente punto de partida. A medida que los productos crecen, soluciones más avanzadas como GA4 o PowerBI pueden proporcionar información sobre la adopción de funciones, la tasa de rebote o la interacción con los anuncios. También puede ser una gran forma de primera alerta para identificar problemas cuando los KPIs caen y herramientas como GA4 pueden incluso enviar una alerta automatizada si un KPI está fuera de un rango definido. Aunque la recopilación de métricas cuantitativas requiere recursos para su puesta en marcha, por lo general puede proporcionar información continua con un mantenimiento relativamente bajo.
Para los productos más maduros, la verdadera prueba para recopilar datos cuantitativos se encuentra en las pruebas A/B, donde las variaciones normales en las métricas se pueden controlar teniendo múltiples versiones en vivo del producto con variaciones pequeñas y bien pensadas que pueden apoyar o no una hipótesis. Esta herramienta es la mejor para el perfeccionamiento de las características existentes, pero puede ser muy valiosa para asegurar que las nuevas características se están añadiendo a la plataforma como se esperaba. Hay muchas herramientas por ahí que permiten A / B y pruebas multivariantes como Optimizely, Convert.com, o Kameleoon sólo para nombrar unos pocos. Algunos son mejores para los desarrolladores experimentados, mientras que algunos pueden permitir que el equipo de marketing para poner a prueba con eficacia las nuevas ideas con poco o ningún apoyo técnico.
Limitaciones de los datos cuantitativos
Si hay algo que suelo ver que falta en la adopción de datos cuantitativos por parte de las empresas, suele ser un profundo conocimiento y respeto de sus limitaciones. La razón por la que los datos cuantitativos son tan fáciles de entender es que a menudo no son más que una simplificación de toda la historia. Sólo pueden hablarnos de aquello para lo que han sido creados y debemos tener en cuenta que no estamos viendo el cuadro completo. Es como comparar un dibujo lineal con un cuadro a todo color. A veces las líneas son suficientes para decirnos dónde está todo y no necesitamos colorear, pero siempre tenemos que preguntarnos si tenemos suficiente información para formar una hipótesis o actuar en consecuencia. Utilizar información basada en datos para tomar decisiones suele ser atractivo para las partes interesadas, pero ponerla en práctica puede ser todo un reto. Además, el hecho de que parezca que una métrica ha mejorado en algún porcentaje no significa que lo haya hecho sin tener plenamente en cuenta factores como la aleatoriedad inherente o las fluctuaciones normales. Ahí es donde entra en juego la significación estadística. La significación estadística mide la certeza de un resultado obtenido a partir de un experimento o cambio. Cuanto mayor sea su valor, más se puede confiar en que el resultado no se debe al azar y que es realmente representativo de una nueva línea de base.
Esperar a la significación estadística es fácil, ¿verdad? La realidad es que, a menos que se produzca un cambio drástico en las métricas y/o un número considerable de muestras, es probable que tenga que esperar semanas, o incluso meses, hasta que los datos alcancen la significación estadística. Es muy tentador anunciar un ganador antes de tiempo si una métrica muestra una tendencia positiva, pero esto podría deberse al azar y no a un cambio real, es decir, a un falso positivo. Pero, ¿siempre es un error? No necesariamente, todo depende de la tolerancia al riesgo de la empresa. Siempre que se reconozca la posibilidad de un falso positivo y se considere que el riesgo es aceptable, anunciar un ganador o una conclusión antes de tiempo no es necesariamente una mala idea.
Por lo tanto, esperar para asegurarnos de que nuestros resultados no se deben al azar puede llevar un tiempo para detectarlos realmente, pero ¿hay algo que podamos hacer para asegurarnos de que estamos obteniendo la imagen completa? A menudo, la verdadera respuesta a por qué está cambiando un KPI puede estar oculta entre las métricas cuantitativas que hemos establecido para medir. Si nos esforzamos también por obtener datos cualitativos, podemos empezar a hacernos una idea completa y confiar en que realmente entendemos nuestro producto.
Datos cualitativos
Si los datos cuantitativos son el "qué" del producto, los datos cualitativos pueden ser muy valiosos para esclarecer el "por qué". Sin comprender plenamente el porqué, los productos pueden tener que iterar durante varios ciclos hasta lograr el resultado deseado. Los datos cualitativos pueden recopilarse con métodos como pruebas de usabilidad, encuestas, entrevistas a usuarios o software de gestión de la experiencia del cliente (CXM) como FullStory o SessionStack. Estas herramientas ayudan a crear una narrativa, descubrir los puntos débiles e informar sobre el diseño de una solución ideal. Gracias a estos métodos, la visibilidad del recorrido del usuario puede revelar si un producto satisface sus necesidades y cómo podría mejorarse.
Por ejemplo, si una llamada a la acción (CTA) no recibe el porcentaje de clics que un equipo esperaba, ¿se debe a que el texto es difícil de leer? ¿O se debe a que hay otras CTA que compiten en la página? O tal vez el valor de la CTA no está resonando con los usuarios como se pretendía. Si entendemos la causa raíz, deberíamos ser capaces de diseñar y desplegar rápida y eficazmente una solución y un plan de acción para lograr los resultados deseados. Sin embargo, si sólo sabemos que el porcentaje de clics es malo, las sesiones de observación o las entrevistas con los usuarios pueden ser herramientas muy valiosas para ver el porqué.
Limitaciones de los datos cualitativos
Dado que los datos cualitativos ofrecen un espacio más amplio para la retroalimentación que los datos cuantitativos, a menudo son mucho más difíciles de recopilar y darles sentido. Su recopilación puede resultar costosa y, aun así, carecer de claridad, ya que no es infrecuente que no haya solapamiento o incluso conflicto entre las respuestas de cosas como las encuestas de usuarios. Incluso si hay solapamiento, como ocurre con los datos cuantitativos, los datos cualitativos pueden seguir siendo propensos a la aleatoriedad, por lo que alcanzar la significación estadística puede ser realmente prohibitivo.
La sinergia de los datos cuantitativos y cualitativos
En el centro de la toma de decisiones basada en datos está la interacción entre datos cualitativos y cuantitativos. Aunque uno sin el otro pueden ser útiles por sí solos, cada categoría presenta sus propios retos. Puede parecer que los datos cuantitativos aportan claridad, pero eso se debe a que ofrecen una visión simplificada y hacen un seguimiento de lo que nosotros mismos nos permitimos seguir. La cualitativa puede permitirnos ver los matices, pero también puede ser tan abierta que carezca de claridad.Utilizar ambos tipos de datos es la mejor manera de crear una imagen holística para guiar su plan de producto. Puede que en las entrevistas cualitativas con los usuarios hayas descubierto una nueva función interesante, pero no estés seguro de su valor para el conjunto de los usuarios. En ese caso, puede reestructurar las preguntas de la entrevista o la encuesta para recopilar datos cuantitativos sobre esa función y decidir actuar en consecuencia. Sin los datos cualitativos no habríamos encontrado esa función, pero sin los datos cuantitativos no habríamos invertido los recursos necesarios para desarrollarla.
Del mismo modo, los datos cualitativos pueden aclarar los cuantitativos. Podemos ver un cambio en un KPI y pensar que conocemos la causa. Sin embargo, especialmente si se trata de un cambio negativo, es difícil y a menudo no recomendable esperar a que el cambio alcance significación estadística para actuar en consecuencia. En su lugar, podemos tomar nuestras teorías y luego probarlas cualitativamente y descubrir si el movimiento de la métrica es cierto e incluso entender el "por qué" para poder actuar en consecuencia. Si tenemos muchos datos que apuntan a lo mismo, el riesgo de actuar sin significación estadística es más tolerable.
La ciencia y el arte del análisis de datos
Bien, ya tenemos los datos, cualitativos y cuantitativos, recopilados con la mayor integridad e intención posibles. Es importante destacar que el viaje no termina aquí. La interpretación de los datos es a la vez arte y ciencia, y requiere un profundo conocimiento del contexto y de las técnicas analíticas. A menudo, incluso a los analistas experimentados les puede llevar tiempo comprender lo que les dicen los datos, cuándo está bien extrapolar y cuándo se necesitan más datos. Dado el volumen de datos que las organizaciones suelen recopilar, la gestión y el análisis de esta información pueden constituir fácilmente una función a tiempo completo, o incluso requerir varios puestos dedicados. Esto pone de manifiesto el importante compromiso y los recursos necesarios para convertir eficazmente los datos en información práctica. Dedicar estos recursos puede hacer que el equipo en su conjunto sea más eficaz y, lo que tal vez sea más importante, más feliz, sin sesgos individuales que impulsen las prioridades a ciegas.
Puesta en común
La incorporación de la toma de decisiones basada en datos al ciclo de vida del producto no sólo lo perfecciona, sino que lo adapta estratégicamente a las demandas del mercado. Un área clave que hay que seguir explorando es la integración de análisis en tiempo real. Al aprovechar los datos en tiempo real, los equipos de producto pueden responder con rapidez a los cambios en el comportamiento de los usuarios o en las condiciones del mercado, garantizando que el producto siga siendo relevante y competitivo. Además, la incorporación de análisis predictivos puede predecir futuras tendencias y necesidades de los usuarios, lo que permite realizar ajustes proactivos en la estrategia de producto.
Es importante utilizar datos desde el principio para decidir qué construir, pero quizá sea aún más importante utilizar datos después para validar el resultado esperado. Una de mis frases favoritas que he oído en mi carrera es "Internet es humilde". Lo dijo un alto ejecutivo mientras revisaba los datos de una función cuidadosamente elaborada que no tuvo la acogida esperada. Resultó que nuestros datos no captaban suficientemente la historia de nuestros usuarios. Aunque no era el resultado inmediato esperado, nos permitió construir un modelo de datos más perspicaz con consideraciones más precisas y KPI representativos. Gracias a esta visión retrospectiva, la planificación de futuras funciones pudo desarrollarse con menos riesgos.
El desarrollo de un modelo de datos para informar de la evolución del producto es un proceso iterativo que garantiza una retroalimentación constante para obtener los mejores resultados. Las empresas que se comprometen con este enfoque pueden responder rápida y eficazmente a los cambios con una precisión milimétrica.
