La construcción de un stack de inteligencia artificial (IA) agentiva representa un desafío titánico comparado con edificar un rascacielos en mitad de un terremoto. La rápida evolución de tecnologías como las GPU, el continuo desarrollo de marcos de trabajo, y la mejora de modelos, requieren una integración compleja con los sistemas preexistentes. Este panorama demanda una atención especial a los fundamentos inmutables, claves para el éxito de cualquier empresa que se adentre en este ámbito tecnológico.
Recientemente, StartUp Play, un servicio dedicado a la agregación de plataformas OTT, compartió su experiencia en la construcción de un stack agentivo. Este proyecto proporciona valiosos aprendizajes sobre lo que funciona, lo que no, y los aspectos a considerar al afrontar el mundo de la IA. En la evolución de las empresas, hemos transitado desde arquitecturas monolíticas, aún en uso por gigantes como Prime Video, hacia un entorno dominado por microservicios, arquitecturas orientadas a eventos y funciones sin servidor. En la actual era de la inteligencia artificial nativa, el desafío radica en integrar capacidades de razonamiento y modelos de lenguaje a gran escala.
El desarrollo de un stack agentivo comienza con la implementación de interfaces API, acompañadas por una capa de orquestación, modelos de lenguaje, y finalmente, capas de memoria y contexto. Este ecosistema opera mediante herramientas y APIs que habilitan la interacción de agentes en el mundo real, siempre bajo un estricto régimen de manejo y gobernanza de datos.
Un aspecto crucial es que los microservicios operen sin estado, utilizando soluciones como Kafka o Redis para almacenar información de estado y permitir escalabilidad. Durante el desarrollo, se alcanzó el hito de soportar un millón de transacciones por segundo, lo que subraya la importancia de una arquitectura bien concebida desde el principio.
Mediante la experiencia acumulada, se identificaron cinco enfoques distintos para construir un stack agentivo. Estos van desde el uso de sistemas empresariales existentes hasta la implementación de sandboxes para agentes. Cada uno presenta ventajas únicas, como la eficiencia en el uso de tokens y la estandarización de herramientas.
Los casos de uso diseñados para la plataforma OTT subrayan la relevancia de la flexibilidad arquitectónica. Modelos para mejoras en metadata, recomendaciones y monitoreo de calidad de experiencia fueron implementados, poniendo de relieve que, aunque los modelos y marcos de trabajo evolucionen, la data y las percepciones del usuario son valiosas a largo plazo.
La estructura de gestión de datos es crucial, planteando niveles de datos de sesión, de múltiples sesiones, y a largo plazo, garantizando que cada fragmento de información sea capturado y gestionado de manera eficiente. Esta estructura es esencial para establecer una base robusta para futuras implementaciones.
El dilema entre construir o adquirir soluciones es un aspecto estratégico crítico. Las empresas deben decidir qué componentes desarrollar internamente y cuáles adoptar de las opciones disponibles en el mercado. Esta consideración afecta desde la elección de modelos de lenguaje hasta la infraestructura de bases de datos, impactando en la eficacia y competitividad organizacional.
Finalmente, se remarca la necesidad de integrar puntos de contacto de manera modular y capaz de ser reemplazada fácilmente, permitiendo adaptarse a los cambios en modelos y plataformas, asegurando la sostenibilidad del sistema a largo plazo. En un entorno donde la tecnología avanza de forma incesante, construir un stack que capture y maximice el valor de la data generada es esencial.
A pesar de su complejidad, la construcción de un stack agentivo ofrece grandes oportunidades para aquellas empresas que estén dispuestas a adaptarse y evolucionar. Al final, el valor generado y los problemas resueltos se convierten en activos duraderos, independientemente de la tecnología aplicada.
