Los grandes modelos de lenguaje han emergido como herramientas esenciales para generar respuestas inteligentes y matizadas en un amplio espectro de aplicaciones empresariales. Sin embargo, muchas organizaciones cuentan con datos específicos y casos de uso que requieren personalizaciones más allá de las capacidades predeterminadas de estos modelos. En este contexto, Amazon Bedrock, un servicio gestionado que ofrece una selección de modelos fundamentales de alto rendimiento de empresas líderes en inteligencia artificial como AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI y Amazon, se presenta como una solución integral a través de una única API. Este servicio, además, proporciona una gama completa de capacidades para desarrollar aplicaciones de inteligencia artificial generativa de manera segura, privada y con responsabilidad.
Durante el reciente evento AWS re:Invent 2023, Amazon Web Services (AWS) anunció la compatibilidad con la personalización de modelos en Amazon Bedrock, facilitando así un preentrenamiento adicional de estos utilizando datos propietarios. Esta funcionalidad permite a las empresas adaptar los modelos a sus contextos específicos, mejorando significativamente la calidad de las respuestas generadas. La efectividad del modelo personalizado dependerá de varios factores, incluyendo la calidad de los datos de entrenamiento y los hiperparámetros empleados. Este escenario motiva a los clientes a realizar múltiples iteraciones para desarrollar un modelo personalizado que cumpla con sus necesidades específicas.
Para abordar la complejidad que conlleva este proceso, AWS ha introducido una integración nativa entre Amazon Bedrock y AWS Step Functions. Esta integración permite a las empresas automatizar y orquestar flujos de trabajo repetibles para personalizar los modelos de Amazon Bedrock. En una reciente demostración se utilizó un caso de uso de resumen de texto con el modelo Cohere Command Light en Amazon Bedrock, que muestra cómo este flujo de trabajo puede adaptarse a otros modelos mediante ajustes específicos en los parámetros.
El procedimiento comienza con la carga de datos de entrenamiento en formato JSON Line en un bucket de Amazon S3. Posteriormente, se inicia la máquina de estado de Step Functions con parámetros de entrada como el modelo a personalizar, los hiperparámetros y las ubicaciones de los datos de entrenamiento. Este flujo de trabajo invoca la API de personalización de Amazon Bedrock para afinar el modelo seleccionado. Una vez creado el modelo personalizado, su desempeño se compara con el del modelo base. Si el modelo personalizado no supera al original, se elimina el throughput provisionado y se notifica al usuario.
La automatización del entrenamiento, evaluación y monitoreo de modelos mediante estos flujos de trabajo reduce significativamente los tiempos de desarrollo y maximiza el valor de Amazon Bedrock para aplicaciones empresariales específicas. AWS también ha proporcionado una guía de usuario y las herramientas necesarias, como el AWS Serverless Application Model (SAM), para implementar la infraestructura requerida.
En resumen, este enfoque permite a las empresas aprovechar la infraestructura y la experiencia en aprendizaje automático de Amazon para personalizar grandes modelos de lenguaje de manera eficaz, eliminando muchos de los desafíos operativos asociados con la personalización de modelos.
