Las organizaciones están aumentando el uso de modelos de base para inteligencia artificial y aprendizaje automático, lo que demanda una gestión eficaz de las operaciones a gran escala. Amazon Bedrock ofrece dos patrones para enfrentar este desafío: inferencia en tiempo real e inferencia por lotes, siendo esta última una solución ideal y rentable para procesar grandes volúmenes de datos sin necesidad de resultados inmediatos.
La inferencia por lotes de Amazon Bedrock destaca con un descuento del 50% frente al procesamiento bajo demanda, convirtiéndose en la opción preferida para tareas de alto volumen que carecen de urgencia temporal. Sin embargo, afrontar estos procesos a gran escala presenta varios retos, como la gestión de formatos de entrada, cuotas de trabajo y la orquestación efectiva de procesos concurrentes.
Recientemente, se ha introducido una solución flexible y escalable que optimiza el flujo de trabajo de la inferencia por lotes. Este enfoque ofrece un sistema robusto capaz de gestionar las exigencias de inferencia por lotes de modelos flexibles, como la generación de embeddings para millones de documentos y tareas complejas sobre grandes conjuntos de datos.
La solución se estructura en tres fases clave: preprocesamiento de datos, ejecución de tareas de inferencia en paralelo y postprocesamiento para analizar los resultados. Mediante una configuración sencilla, AWS Step Functions gestiona de manera eficiente la preparación de datos, ejecución simultánea de tareas y el procesamiento final de los resultados.
Un ejemplo destacado es el análisis de 2.2 millones de filas del conjunto de datos SimpleCoT, diseñado para potenciar el razonamiento «chain-of-thought» en modelos de lenguaje, abarcando problemas desde comprensión lectora hasta razonamiento lógico.
La arquitectura emplea componentes escalables y sin servidor, fundamentales para los flujos de trabajo por lotes. Los datos de entrada deben formatearse como archivos JSONL en Amazon S3, considerando las cuotas por conjunto de datos según el modelo. Además, Amazon DynamoDB registra el estado de cada trabajo, garantizando un control organizado.
Para tareas de generación de embeddings o respuestas de texto, no se requiere un identificador de prompt, aunque es vital que el archivo de entrada tenga las columnas correctas. Durante la ejecución, se asegura que el proceso se mantenga ordenado y que los resultados se integren adecuadamente con los datos originales.
Esta solución ofrece a las empresas la oportunidad de explorar una arquitectura sin servidor para el procesamiento por lotes, fomentando la creación de datos sintéticos y el etiquetado eficiente. La herramienta ya está disponible en GitHub, donde se invita a los desarrolladores a personalizarla según sus necesidades.
