Amazon ha anunciado una nueva funcionalidad en Amazon SageMaker Inference que promete revolucionar el desarrollo de aplicaciones de inteligencia artificial generativa. La herramienta, conocida como enrutamiento de sesiones persistentes, apunta a mejorar el rendimiento y la experiencia del usuario en estas aplicaciones al reutilizar información previamente procesada, reduciendo así la latencia.
La nueva característica de SageMaker permite que todas las solicitudes dentro de una sesión específica sean redirigidas a la misma instancia. Esta capacidad facilita que las aplicaciones aprovechen datos procesados anteriormente, mejorando significativamente la interactividad y respuesta en situaciones de manejo de grandes volúmenes de datos. Esta innovación se perfila como ideal para aplicaciones que requieren una experiencia de usuario fluida y eficiente.
El proceso para utilizar esta funcionalidad es sencillo: se crea un identificador de sesión (ID) en la primera solicitud y este ID se usa para asegurar que todas las solicitudes subsecuentes sean redirigidas a la misma instancia. Al finalizar, las sesiones pueden ser eliminadas, liberando recursos para nuevas sesiones y optimizando el uso de los mismos.
Disponible en todas las regiones de AWS donde SageMaker está habilitado, esta función fortalece las capacidades de despliegue de modelos en la plataforma. Con un enfoque en la eficiencia, SageMaker implementa una combinación de enrutamiento de sesiones persistentes y balanceo de carga, junto con sesiones conscientes del estado en TorchServe. Así, todas las solicitudes de una sesión son gestionadas por la misma instancia de servidor, y los datos multimedia se almacenan en la memoria GPU, minimizando el tiempo de carga y descarga.
La estrategia está diseñada para reducir la sobrecarga de transferencia de datos, asegurando que el archivo multimedia inicial se procese solo una vez, y las solicitudes subsecuentes dentro de la misma sesión usen datos en caché para mejorar los tiempos de respuesta.
Para desplegar el modelo LLava, se recomienda seguir una serie de pasos clave. Estos incluyen la construcción de un contenedor Docker de TorchServe y su envío a Amazon Elastic Container Registry (ECR), la creación y carga de artefactos de modelo en Amazon S3, y la configuración del punto final de SageMaker para la ejecución de inferencias. Este procedimiento es fundamental para asegurar el rendimiento eficiente de aplicaciones multimodales, como los asistentes de lenguaje y visión.
Para aquellos que deseen implementar esta solución, se dispone de una guía detallada que abarca desde la creación hasta la eliminación de sesiones usando el comando invoke_endpoint. Además, se recomienda la optimización de la integración de modelos personalizados y el uso de repositorios Git para la gestión del código del proyecto.
Los desarrolladores podrán beneficiarse del código fuente y scripts disponibles en el repositorio de GitHub, lo que abre nuevas posibilidades para reducir la latencia y mejorar la experiencia del usuario final en aplicaciones multimodales. Esta reciente innovación de Amazon SageMaker es una invitación abierta a los desarrolladores y científicos de datos para experimentar con esta solución y compartir sus resultados y preguntas.
