Amazon ha introducido una innovadora funcionalidad en su plataforma de inteligencia artificial, SageMaker AI, que permite afinar modelos GPT-OSS utilizando las recetas de SageMaker HyperPod. Esta herramienta, parte de una serie de lanzamientos, se centra en optimizar el modelo para manejar el razonamiento estructurado en múltiples idiomas.
En entregas anteriores, se destacó cómo los modelos GPT-OSS podían ser afinados utilizando bibliotecas de código abierto de Hugging Face a través de trabajos de entrenamiento en SageMaker. Ahora, con las recetas de HyperPod, los usuarios tienen acceso a configuraciones preconstruidas que simplifican la creación de entornos de entrenamiento distribuidos. Esto asegura rendimiento y escalabilidad a nivel empresarial, permitiendo entrenar modelos como Llama de Meta y Mistral de manera más eficiente.
Esta solución se implementa mediante SageMaker HyperPod para orquestar trabajos de ajuste fino utilizando Amazon Elastic Kubernetes Service (EKS). Las organizaciones que deseen emplear esta funcionalidad necesitarán configuraciones iniciales, como un entorno de desarrollo local y credenciales de AWS, además de instancias específicas como ml.p5.48xlarge.
El proceso inicia con la preparación de un conjunto de datos, utilizando el dataset «HuggingFaceH4/Multilingual-Thinking», que proporciona ejemplos de razonamiento en varios idiomas. Tras la tokenización de los datos, las recetas facilitan el trabajo de ajuste fino, y se implementa el modelo entrenado en un endpoint de SageMaker para pruebas posteriores.
Especialistas subrayan que SageMaker no solo facilita el entrenamiento de modelos con recursos temporales, sino que ofrece un entorno persistente para el desarrollo contínuo mediante HyperPod. Esto permite a las organizaciones experimentar eficientemente con modelos.
El despliegue de los modelos ajustados se realiza con contenedores optimizados en Amazon Elastic Container Registry (ECR), asegurando acceso a los recursos necesarios para ejecutar inferencias en tiempo real. SageMaker también traduce configuraciones y ajusta variables para un rendimiento óptimo.
En resumen, esta funcionalidad abre nuevas posibilidades para que organizaciones de diversos tamaños aprovechen los modelos de lenguaje grande. Con guías y recursos disponibles en los repositorios de GitHub de Amazon, esta tecnología promete facilitar el ajuste y despliegue de modelos personalizados, haciéndolo más accesible y manejable para los desarrolladores.
