Thomson Reuters, una empresa global impulsada por tecnología y contenido, ha estado utilizando inteligencia artificial y aprendizaje automático en sus productos de información profesional durante décadas. La introducción de la IA generativa ofrece otra oportunidad para que Thomson Reuters colabore con sus clientes y avance en la manera en que realizan su trabajo, ayudando a los profesionales a extraer conocimientos y automatizar flujos de trabajo, permitiéndoles enfocarse en lo que realmente importa.
En los últimos años, Thomson Reuters ha recorrido un camino significativo en la investigación y desarrollo de grandes modelos de lenguaje (LLMs, por sus siglas en inglés) adaptados a dominios específicos, utilizando la infraestructura especializada de Amazon SageMaker HyperPod, una característica de Amazon Web Services (AWS) centrada en proporcionar infraestructura para el entrenamiento distribuido a gran escala.
A finales de 2022, la empresa lanzó innovadores LLMs que lograron mejoras drásticas respecto a las capacidades de los modelos anteriores. Esta tecnología ha abierto nuevas puertas para mejorar la personalización de contenido, recomendaciones y respuestas a clientes en interfaces naturales de tipo chat. La competencia en el mercado por incorporar esta tecnología se intensificó, y Thomson Reuters no fue la excepción, reconociendo la necesidad de ayudar a sus clientes a prosperar en un entorno donde la IA es cada vez más predominante.
Como cualquier tecnología emergente, la correcta aplicación y comprensión de las limitaciones son esenciales. Entre los factores a considerar se encuentran las alucinaciones, la calidad, la velocidad, el costo y la capacidad de los LLMs. Los clientes de Thomson Reuters, siendo profesionales en áreas como el ámbito legal, corporativo, fiscal, de riesgo, fraude, cumplimiento y noticias, requieren IA de grado profesional con altos estándares de precisión y fiabilidad. Por ejemplo, los clientes legales necesitan investigaciones basadas en hechos precisos, ya que cualquier error puede tener consecuencias significativas.
Frente a las limitaciones de los modelos de lenguaje disponibles públicamente, Thomson Reuters se planteó varias preguntas críticas: ¿Es posible usar datos creados, curados o mejorados editorialmente por la empresa para mejorar los LLMs en tareas específicas? ¿Pueden los LLMs más pequeños, entrenados con sus propios datos, rendir igual de bien que los modelos más grandes? ¿Qué métodos se pueden emplear para entrenar modelos específicos de dominio para obtener los mejores resultados?
Las potenciales ventajas se encuentran en tres áreas clave: calidad, agencia y eficiencia operativa. Con control completo sobre el entrenamiento del modelo, Thomson Reuters puede afinar la generación del LLM a su dominio específico, permitiendo una integración más estrecha de la Recuperación Aumentada por Generación (RAG). La propiedad de los modelos también permite la actualización y entrenamiento según sea necesario, y los modelos más pequeños, si son eficientes, representan una solución más rentable y escalable.
Para estimar la potencia de cómputo necesaria, se utilizó la ley de escalamiento Chinchilla para determinar la cantidad de datos de entrenamiento requeridos para mantener la calidad del modelo. Se consideraron factores como la resiliencia del clúster, la gestión del clúster y la experiencia del desarrollador, elementos críticos en el entrenamiento de LLMs con potencialmente cientos de GPUs trabajando en paralelo. Thomson Reuters optó por Amazon SageMaker HyperPod para provisionar un clúster altamente escalable y resistente a fallos de hardware.
Durante cinco meses, la empresa ejecutó con éxito 20 trabajos de entrenamiento utilizando Amazon SageMaker HyperPod, escalando su clúster hasta 16 instancias P4d. Entrenaron un modelo de 70 mil millones de parámetros con 400 mil millones de tokens de entrada, completando el entrenamiento en 36 días sin incidentes de hardware.
En conclusión, Thomson Reuters logró cumplir sus objetivos de entrenamiento de LLMs utilizando Amazon SageMaker HyperPod, desbloqueando beneficios significativos en áreas como la resumen y clasificación legal. Para negocios que operan en dominios especializados, entrenar modelos propios puede ser ventajoso, considerando los costos asociados y el rápido avance de la tecnología LLM.
