Hoy se ha anunciado con gran entusiasmo la disponibilidad de Llama 3.1, una avanzada colección de modelos de lenguaje grande (LLM) multilingües. Estos modelos incluyen versiones de 8B, 70B y 405B y están ahora accesibles a través de Amazon SageMaker JumpStart para despliegue de inferencia. Llama, un modelo de lenguaje diseñado para desarrolladores, investigadores y empresas, permite la creación, experimentación y escalado de ideas de inteligencia artificial generativa de forma responsable.
La versión 3.1 de Llama incluye modelos generativos preentrenados y afinados por instrucciones, con una longitud de contexto extendida de 128,000 caracteres y optimizados para inferencia, soportando la atención de consulta agrupada (GQA). Los modelos afinados por instrucciones sobresalen en casos de uso de diálogo multilingüe y superan a muchos otros modelos de chat públicos según los indicadores de la industria. La arquitectura core de Llama 3 y Llama 3.1 permanece constante, utilizando un modelo de lenguaje auto-regresivo con una arquitectura transformer optimizada.
Amazon SageMaker JumpStart proporciona acceso a una vasta selección de modelos base disponibles públicamente, abarcando desde visión por computadora hasta modelos de lenguaje. Estos modelos pueden ser profundamente personalizados para abordar casos de uso específicos. SageMaker JumpStart asegura la seguridad y conformidad de los datos, operando modelos bajo controles privados en lugar de entornos públicos compartidos. Posterior al despliegue, los modelos pueden ser afinados utilizando las capacidades extensas de Amazon SageMaker.
Para acceder a los modelos Llama 3.1 en SageMaker JumpStart, los usuarios pueden utilizar SageMaker Studio, un entorno de desarrollo integrado que facilita todas las etapas del ciclo de vida del desarrollo de aprendizaje automático. También está disponible el SDK de Python de SageMaker, ofreciendo múltiples opciones de acceso a cientos de modelos según el caso de uso.
El despliegue de modelos Llama 3.1 para inferencia se facilita a través de una interfaz de usuario en SageMaker JumpStart, donde los usuarios pueden explorar y seleccionar modelos. Además, hay notebooks de ejemplo que guían el proceso de despliegue del modelo, permitiendo una personalización completa para la configuración y operación.
Los modelos Llama 3.1 presentan capacidades excepcionales en el entendimiento de lenguaje, generación de diálogos y traducción multilingüe. El Meta-Llama-3.1-405B, el modelo más grande y avanzado de la serie, permite innovaciones como la generación de datos sintéticos y el uso de herramientas en un solo disparo. Estas capacidades dotan a los desarrolladores de una herramienta poderosa para diversas aplicaciones, desde la generación de texto hasta la detección y prevención de contenido riesgoso mediante Llama Guard.
En resumen, SageMaker JumpStart permite a científicos de datos e ingenieros de ML descubrir, acceder y ejecutar una amplia gama de modelos preentrenados para inferencia, incluyendo los sofisticados modelos Llama 3.1 de Meta. Inicialmente, estos modelos están disponibles en las regiones de AWS US East (N. Virginia), US East (Ohio) y US West (Oregon).
