Amazon ha dado un paso audaz en la transformación del comercio electrónico con Rufus, su nuevo asistente de compras conversacional impulsado por inteligencia artificial generativa. Esta herramienta de última generación promete revolucionar la manera en que los clientes interactúan y deciden sobre sus adquisiciones en línea, ofreciendo respuestas detalladas y bien fundamentadas extraídas tanto de los vastos recursos de Amazon como de la web.
Desarrollado para manejar la extensa base de clientes de Amazon alrededor del mundo, Rufus necesitaba una infraestructura capaz de soportar modelos de lenguaje de alta escala sin comprometer la latencia. La solución llegó con el uso de los avanzados servicios de AWS, especialmente los chips de inteligencia artificial Trainium e Inferentia. Estos chips están optimizados para acelerar las cargas de trabajo de aprendizaje profundo, lo que no solo mejora el rendimiento sino que también reduce significativamente los costos operativos en comparación con otras tecnologías disponibles en el mercado.
Rufus está preparado para enfrentar los picos de demanda, tales como los observados en eventos masivos de compras como el Prime Day. Gracias a un sofisticado sistema de inferencia heterogéneo distribuido a través de múltiples Regiones de AWS, el asistente mejora su capacidad y resiliencia durante momentos críticos. Esto asegura que los clientes reciban respuestas rápidas y precisas, incluso en momentos de alta actividad.
Una de las características más innovadoras de Rufus es su sistema de Generación Aumentada por Recuperación, que refina la calidad de las respuestas mediante la búsqueda de información adicional relevante, como detalles específicos de productos en base a las consultas de los clientes. Además, la implementación de los chips especializados Inferentia y Trainium permite que Rufus opere con una eficiencia energética un 54% superior a otras soluciones, alineándose con los objetivos de sostenibilidad de Amazon.
Durante los picos de alta demanda, el sistema de Rufus puede escalar hasta emplear más de 80,000 chips, manteniendo una latencia baja, con respuestas en menos de un segundo. Esto es gracias a la arquitectura de streaming de inferencia, que permite ofrecer tokens a medida que se generan, optimizando la experiencia del usuario.
Con el tiempo, Rufus seguirá evolucionando, adaptándose a los avances en inteligencia artificial generativa y al feedback de los usuarios. Esta iniciativa subraya el compromiso de Amazon con la innovación tecnológica, enfocada en mejorar continuamente el servicio y la satisfacción del cliente, consolidando su posición como líder en el ámbito del comercio digital.
