El creciente desafío que enfrentan las implementaciones modernas de modelos de lenguaje grande (LLM) continúa siendo motivo de preocupación en el ámbito tecnológico, especialmente en cuanto a los costos y el rendimiento en las tareas de inferencia. Con el aumento en el conteo de tokens, que se relaciona directamente con la cantidad de palabras y el tamaño de las imágenes, las exigencias computacionales y los costos han escalado considerablemente. Este fenómeno es particularmente relevante en el contexto de los sistemas de generación aumentada de recuperación (RAG) y agentes de codificación, que requieren procesar hasta 10 millones de tokens para manejar grandes volúmenes de datos y documentación.
Frente a este reto, se ha identificado que gran parte del conteo de tokens en las cargas de trabajo de inferencia es redundante, con documentos y fragmentos de texto recurrentes. Este patrón presenta una oportunidad para las organizaciones: almacenar en caché los contenidos reutilizados podría reducir costos y mejorar el rendimiento en las tareas de inferencia.
En respuesta a estas necesidades, Amazon Web Services (AWS) ha lanzado actualizaciones significativas para su contenedor de Inferencia de Modelos Grandes (LMI). Estas mejoras incluyen una notable optimización del rendimiento y un soporte ampliado para modelos, simplificando la implementación para los clientes que ejecutan LLM en la plataforma AWS. Uno de los avances más destacados es la introducción de LMCache, una solución de almacenamiento en caché de clave-valor de código abierto que permite gestionar eficientemente las cargas de trabajo de largo contexto.
LMCache se diferencia de los métodos tradicionales de almacenamiento en caché al reutilizar los cachés de texto repetidos, no solo los prefijos, optimizando así el almacenamiento a nivel de fragmento. Esta solución, compatible con memoria GPU, CPU y almacenamiento en disco/remoto, gestiona inteligentemente los recursos al mantener un índice que mapea secuencias de tokens con entradas de caché.
Pruebas exhaustivas han demonstrado que LMCache mejora el tiempo hasta el primer token (TTFT) al procesar grandes volúmenes de datos con contextos repetidos. Las organizaciones pueden optimizar el rendimiento mediante la evacuación a la CPU o utilizando NVMe según sus necesidades de caché. Sin embargo, es relevante señalar que los modelos más grandes requieren más memoria por token, agotando más rápidamente la capacidad de caché de la GPU, lo que hace que LMCache sea particularmente valioso para contextos más cortos en estos modelos.
Además de LMCache, el nuevo LMI incluye soporte para técnicas de decodificación especulativa EAGLE, que aceleran el proceso de decodificación al predecir tokens futuros a partir de las capas ocultas del modelo. Estas mejoras permiten a las organizaciones obtener un rendimiento de inferencia notablemente mejorado, con un soporte ampliado para modelos de última generación y capacidades multimodales, facilitando despliegues más eficientes y simplificados.
A través de estas innovaciones, AWS reafirma su compromiso con la eficiencia operativa y un soporte mejorado para las demandas del mercado en evolución, asegurando que sus clientes pueden escalar sus modelos y gestionar complejidades con mayor efectividad.
