Desde su lanzamiento en 2018, la tecnología Just Walk Out de Amazon ha transformado la experiencia de compra, permitiendo a los clientes entrar a una tienda, recoger productos y salir sin hacer filas para pagar. Esta innovadora tecnología de caja sin fricciones ya se encuentra en más de 180 ubicaciones a nivel mundial, incluyendo minoristas de viajes, estadios deportivos, lugares de entretenimiento, centros de conferencias, parques temáticos, tiendas de conveniencia, hospitales y campus universitarios. El sistema Just Walk Out identifica automáticamente los productos que elige cada cliente, proporcionando recibos digitales y eliminando la necesidad de colas.
La última generación de esta tecnología se impulsa mediante un modelo de base multi-modal (FM) de última generación, diseñado específicamente para tiendas físicas. Utilizando una arquitectura basada en transformadores, similar a la empleada en muchas aplicaciones de inteligencia artificial generativa, este modelo mejorado genera recibos de compra altamente precisos mediante la combinación de múltiples fuentes de datos, como videcámaras aéreas, sensores de peso en los estantes, planos digitales del piso e imágenes del catálogo de productos.
Los avances en investigación y desarrollo (I+D) en modelos multi-modales han permitido que la tecnología Just Walk Out se aplique en una amplia gama de situaciones de compra con mayor precisión y menos costo. Al igual que los grandes modelos de lenguaje que generan texto, el nuevo sistema está diseñado para emitir recibos de venta precisos para cada comprador que visite la tienda, enfrentando incluso los comportamientos de compra más complejos y desafiantes que podrían complicarse por secuencias largas y difíciles de analizar.
La generación anterior del sistema utilizaba una arquitectura modular, desglosando la visita del comprador en tareas discretas como la detección de interacciones, seguimiento de artículos, identificación de productos y conteo de lo seleccionado. Aunque este enfoque producía recibos precisos, requería un esfuerzo de ingeniería significativo para abordar nuevas situaciones, limitando su escalabilidad.
Para superar estos desafíos, Amazon ha introducido un nuevo FM multi-modal, diseñado específicamente para entornos minoristas complejos. Este modelo mejora las capacidades del sistema Just Walk Out, permitiendo manejar escenarios de compra reales de manera más efectiva y generalizada en diferentes tipos de tiendas, productos y comportamientos de clientes, lo cual es crucial para la escalabilidad de la tecnología.
La incorporación del aprendizaje continuo permite que el modelo se adapte y aprenda automáticamente de nuevos escenarios desafiantes a medida que surgen, lo que garantiza un alto rendimiento incluso con la evolución constante de los entornos de compra. Al combinar el aprendizaje de extremo a extremo con una mejor generalización, el sistema puede abordar una gama más amplia de entornos minoristas dinámicos, proporcionando una experiencia de compra sin fricciones para los clientes.
Los elementos esenciales del modelo de IA multi-modal incluyen entradas flexibles que rastrean cómo interactúan los usuarios con los productos y muebles de la tienda, utilizando principalmente video de múltiples vistas y sensores de peso para artículos pequeños. La representación digital en 3D de la tienda y el acceso a imágenes del catálogo permiten la identificación precisa de productos, incluso si son devueltos incorrectamente a los estantes.
Estos datos multi-modales se procesan mediante codificadores que los comprimen en tokens de transformadores, que son la unidad básica de entrada para el modelo de recibo. Esto permite interpretar los movimientos de manos, diferenciar entre artículos y contar con precisión los productos recogidos o devueltos, actualizando dinámicamente cada recibo digital.
Para entrenar este modelo, se ha invertido en una infraestructura robusta que permite procesar grandes cantidades de datos, utilizando servicios de Amazon Web Services (AWS) como Amazon S3 para almacenamiento de datos y Amazon SageMaker para la capacitación.
En resumen, Amazon se está alejando de sistemas modulares de IA para construir sistemas más simples y escalables que se entrenan de extremo a extremo. La IA multi-modal ya ha elevado el estándar del sistema de recibos, mejorando la experiencia de compra en tiendas Just Walk Out en todo el mundo.
