Amazon ha introducido nuevas funcionalidades en Amazon SageMaker AI que prometen revolucionar la forma en que los usuarios evalúan sus modelos de aprendizaje automático. Este avance tiene como objetivo incrementar la eficacia de la valoración de modelos a través de diversas mejoras, entre las que destacan las métricas personalizadas, las pruebas de preferencia basadas en Modelos de Lenguaje de Gran Escala (LLM), y el escalado de evaluaciones en múltiples nodos.
Una de las innovaciones más notables es la capacidad de definir métricas personalizadas, lo cual permite a los desarrolladores adaptar los criterios de evaluación a sus necesidades específicas. Esto se traduce en la posibilidad de implementar métricas para evaluar la empatía en modelos dedicados al servicio al cliente o la precisión clínica en asistentes médicos, dotando a los equipos de flexibilidad para afinar sus análisis a sus respectivos dominios.
Otra característica destacada es “LLM-as-a-Judge”, que permite llevar a cabo evaluaciones subjetivas a través de comparaciones entre pares. Esta función reporta cuál respuesta es preferida junto con las razones detrás de cada juicio, lo cual es esencial para tareas que requieren razonamientos complejos. Aquí, las explicaciones ganan protagonismo y resultan tan cruciales como la clasificación en sí misma.
La inclusión de capturas de probabilidades logarítmicas es un añadido que otorga información esencial sobre la confianza del modelo en cada token emitido. Esto es clave para estudios de calibración y facilita la toma de decisiones informadas respecto al enrutamiento de respuestas, permitiendo a los equipos establecer umbrales de calidad y detectar posibles problemas antes de que afecten la producción.
El análisis de metadatos también recibe un impulso significativo, ya que ahora se pueden conservar campos adicionales que permiten analizar resultados en función de segmentos de clientes, dominios y otras variables sin necesidad de realizar procesamientos adicionales. Esto se traduce en análisis más detallados y ricos, potenciando la comprensión de los resultados de las evaluaciones.
Para aquellos equipos que manejan grandes volúmenes de datos, SageMaker ahora permite la ejecución en múltiples nodos. Esta funcionalidad distribuye las cargas de trabajo, escalando operaciones desde miles a millones de ejemplos, asegurando al mismo tiempo una agregación estable y resultados consistentes.
A través de Amazon SageMaker, es posible definir evaluaciones mediante archivos JSONL almacenados en Amazon S3 y ejecutarlos como trabajos de entrenamiento, administrando los flujos de trabajo de pre y post-proceso, y obteniendo resultados que se integran fácilmente en herramientas de análisis como Amazon Athena y AWS Glue. Este nivel de integración plantea un camino claro para que las empresas adopten de manera efectiva tecnologías de inteligencia artificial generativa.
