En el reciente AWS Summit celebrado en Nueva York, Amazon desveló una innovadora suite de personalización para sus modelos Amazon Nova, ahora disponibles mediante recetas en Amazon SageMaker AI. Estas herramientas permitirán adaptar los modelos Nova Micro, Nova Lite y Nova Pro durante todo el ciclo de vida del entrenamiento, incluyendo etapas cruciales como el pre-entrenamiento, el ajuste fino supervisado y la alineación.
El enfoque inicial se centra en la técnica de Optimización de Preferencias Directa (DPO), que sintoniza las salidas del modelo basándose en las preferencias del usuario. A través de pares de respuestas —una preferida y otra no— se guía al modelo para lograr resultados que reflejen las directrices deseadas.
La personalización habilitará el despliegue en Amazon Bedrock con un rendimiento de salida provisionado. Además, la versión eficiente del DPO ofrece inferencia bajo demanda. Las recetas de personalización en SageMaker permiten seleccionar el entorno adecuado, adaptándose a distintos requerimientos de infraestructura y escala.
El proceso comienza con la selección de una receta de SageMaker, proporcionando configuraciones detalladas para ajustar los parámetros de Amazon Nova. Luego, se envía una solicitud por API y SageMaker utiliza un script para ejecutar la receta en un clúster gestionado. Este sistema automatiza la provisión de infraestructura y la orquestación del entrenamiento distribuido.
Este enfoque proporciona una experiencia totalmente gestionada, permitiendo definir los parámetros de entrenamiento y elegir infraestructura preferida, mientras que SageMaker maneja la gestión de infraestructura de extremo a extremo con un modelo de precios basado en el tiempo de entrenamiento.
Los modelos personalizados también pueden desplegarse en Amazon Bedrock mediante la API createcustommodel, integrándose con herramientas nativas como Amazon Bedrock Knowledge Bases, Guardrails y Agents.
Un caso de uso destacado reveló que la adaptación del modelo Amazon Nova Micro optimiza funciones específicas, mejorando hasta un 81% en la puntuación F1 y avanzando un 42% en métricas ROUGE, mejorando así la eficiencia en aplicaciones comerciales como asistentes de soporte al cliente.
A medida que se implementan tecnologías como DPO, se espera que esta personalización y optimización de IA transforme la manera en que las empresas manejan modelos, haciéndolos más accesibles para diversas organizaciones.
