En un avance destacado para la inteligencia artificial, se ha dado a conocer una solución innovadora que aborda el problema del desperdicio de capacidad de GPU en modelos de Mixture of Experts (MoE). La técnica, desarrollada en colaboración con la comunidad de vLLM, busca resolver el desafío financiero que enfrentan muchas organizaciones al pagar por capacidad de GPU ociosa. Esto es particularmente relevante cuando los modelos individuales personalizados no reciben suficiente tráfico para justificar un punto de computación dedicado.
La clave de esta solución radica en el uso del enfoque Multi-Low-Rank Adaptation (Multi-LoRA), el cual es ampliamente utilizado para el ajuste fino de modelos. Esta técnica permite mantener los pesos originales de un modelo congelados e incorporar pequeños adaptadores entrenables en las capas del modelo. Al hacerlo, durante la inferencia, múltiples modelos personalizados pueden compartir una misma GPU, razón por la cual cinco clientes que utilizan cada uno solo el 10% de una GPU dedicada pueden ser eficientemente atendidos por una única GPU. Este enfoque transforma así múltiples GPUs infrautilizadas en una sola GPU compartida y efectiva.
A partir de la versión 0.15.0 de vLLM, esta solución ha sido integrada en las implementaciones locales, permitiendo la compatibilidad de Multi-LoRA con varias familias de modelos MoE, como GPT-OSS, Qwen3-MoE, DeepSeek y Llama MoE. Las optimizaciones adicionales realizadas también benefician el hospedaje de modelos densos como Llama3.3 70B y Qwen3 32B. Específicamente, las optimizaciones para Amazon han resultado en una mejora del 19% en Output Tokens Per Second (OTPS) y una reducción del 8% en el Time To First Token (TTFT) para GPT-OSS 20B.
El proceso de optimización comenzó mediante la identificación de cuellos de botella a través de herramientas de profiling como NVIDIA Nsight Systems. Se descubrió que el núcleo «fused_moe_lora» presentaba la mayor latencia, por lo que se introdujeron mejoras, incluyendo lógica de salida anticipada y la implementación de Programmatic Dependent Launch (PDL), permitiendo superponer la ejecución de núcleos. Todo esto resultó en un incremento notable en el rendimiento, alcanzando hasta 171 OTPS y 124 ms TTFT para GPT-OSS 20B en configuraciones optimizadas.
Con Multi-LoRA y las mejoras implementadas, el equipo detrás de esta iniciativa no solo ha logrado una reducción significativa de costos relacionados con el uso de GPU, sino que también ha optimizado la eficiencia y velocidad de respuesta de los modelos de IA. Estas innovaciones están ahora disponibles en plataformas como Amazon SageMaker y Amazon Bedrock, permitiendo que desarrolladores y científicos de datos aprovechen al máximo sus recursos de cómputo.
