Nico Finelli, miembro fundador de Vellum, compartió recientemente sus observaciones sobre el estado actual de la inteligencia artificial (IA) en la producción, haciendo hincapié en cómo los agentes de IA pueden generar valor real. Con experiencia en machine learning y modelos de lenguaje (LLM), Finelli ha asesorado a empresas de la lista Fortune 500 y ahora se enfoca en guiar a otras organizaciones para pasar de la experimentación a implementaciones efectivas.
Una encuesta realizada a más de 1,200 desarrolladores de IA reveló un dato sorprendente: solo el 25% de los encuestados está utilizando sus iniciativas de IA en producción. Aunque la IA generativa está en el centro del huracán mediático, muchas organizaciones aún enfrentan grandes desafíos durante la fase de pruebas. Uno de los problemas más destacados es el fenómeno de las «alucinaciones» en los modelos de IA, señalando más del 57% de los desarrolladores que es su mayor obstáculo.
La evaluación es un aspecto crítico que puede determinar el éxito de un sistema de IA. Finelli destaca que muchas veces se depende de pruebas manuales y retroalimentación de usuarios, lo que indica una falta de procesos robustos para garantizar una implementación adecuada. La mayoría de las empresas carece de tuberías de pruebas automatizadas, lo que dificulta la resolución de problemas debido a la especificidad de las aplicaciones de IA.
Las empresas que logran llevar la IA a producción mantienen un enfoque disciplinado y bien definido desde el principio. Priorizar el desarrollo de casos de uso claros y fomentar un feedback constante entre desarrolladores y expertos permite iterar rápidamente. Finelli menciona que el 65-70% de los clientes de Vellum tienen IA en producción gracias a su capacidad para adaptarse y evaluar continuamente sus sistemas.
En conclusión, la implementación exitosa de agentes de IA no solo depende de avances tecnológicos, sino también de la estructura y enfoque del proceso de desarrollo. Una evaluación efectiva es clave para convertir la IA en una herramienta útil y sostenible en el ámbito empresarial.
