En el ámbito del aprendizaje automático (ML), un desafío recurrente afecta a numerosos equipos: el desarrollo de modelos que, aunque logren altos niveles de precisión durante las pruebas, no logran traducirse en resultados comerciales significativos al momento de su implementación. Incluso se ha observado que modelos con un 94% de precisión en pruebas de validación a menudo no cumplen con las expectativas de negocio tras seis meses en producción, como en el caso de motores de recomendación que no impulsan los resultados esperados.
Este problema radica en el enfoque convencional de desarrollo de modelos, que se centra en alcanzar la perfección técnica. El proceso tradicional incluye la recopilación de datos, el entrenamiento del modelo, la evaluación del rendimiento y su implementación final. El éxito en este ámbito suele medirse con métricas técnicas, como la puntuación F1 y el área bajo la curva (AUC). Sin embargo, este enfoque descuida un elemento crucial: la experiencia del usuario y la integración del modelo en su flujo de trabajo diario.
El enfoque orientado al producto requiere un cambio de perspectiva. En lugar de comenzar con los datos y algoritmos, es fundamental priorizar las necesidades del usuario y los problemas comerciales que se buscan solucionar. En este contexto, el éxito ya no se define solo por la precisión técnica, sino por la capacidad del modelo para mejorar efectivamente la experiencia del usuario y favorecer los resultados del negocio. Por ejemplo, los sistemas de recomendación deben ir más allá de las tasas de clics para determinar si realmente ayudan a los usuarios a alcanzar sus objetivos o si, por el contrario, crean burbujas de filtro perjudiciales.
El desarrollo de modelos debería incorporar una fase de definición de problemas que garantice que las soluciones técnicas realmente resuelvan las inquietudes de los usuarios. Invertir tiempo para comprender los puntos de dolor y establecer criterios de éxito evita la generación de soluciones impresionantes desde el punto de vista técnico que no abordan problemas relevantes.
Asimismo, la implementación de un modelo debe garantizar la adopción por parte de los usuarios, atendiendo a su interacción con los resultados y brindando la capacitación necesaria para su uso efectivo. Una experiencia reciente de un equipo de desarrollo evidenció que, al priorizar un modelo más sencillo enfocado en identificar patrones de riesgo de abandono con acciones recomendadas, se logró incrementar la retención de clientes en un 15%. Esto demuestra que, en ocasiones, una solución menos compleja puede generar un impacto mayor que un modelo técnicamente avanzado sin valor empresarial.
Es crucial medir el éxito de un modelo más allá de las métricas técnicas, integrando indicadores de satisfacción del usuario, tasas de adopción y logros comerciales. Establecer mecanismos de retroalimentación continua desde el inicio permite mejorar el modelo basándose en la experiencia del usuario.
El futuro del desarrollo de modelos ML requiere equipos más interdisciplinarios, que integren científicos de datos, gerentes de producto, diseñadores de experiencia de usuario y expertos del dominio. La colaboración entre estas disciplinas brinda un entendimiento más profundo de las necesidades del usuario, permitiendo crear productos de ML que realmente resuelvan problemas.
Este cambio en el paradigma de desarrollo de modelos no se limita a modificar procesos, sino que implica una reimaginación fundamental de lo que significa construir sistemas ML exitosos. Considerar los modelos como productos permite crear sistemas que realmente generen valor a quienes los utilizan, reafirmando que el verdadero éxito se mide en la satisfacción del usuario, más allá de los resultados técnicos.
