En el vertiginoso mundo de la inteligencia artificial, la guerra tecnológica ya no se concentra únicamente en el poder de procesamiento, medido en «tokens por segundo» que una GPU puede generar. La batalla del futuro, que se desarrolla en 2026, tiene un nuevo campo de combate: el contexto largo. En este nuevo frente, los modelos de inteligencia artificial son capaces de leer enormes bases de código y mantener la memoria en flujos agénticos, respondiendo con una latencia baja incluso cuando el prompt alcanza dimensiones que antes resultaban impracticables en producción.

Este cambio de enfoque ha llevado a LMSYS, un grupo prominente en el ecosistema de serving, a anunciar los impresionantes resultados de rendimiento de DeepSeek en la plataforma NVIDIA GB300 NVL72 (Blackwell Ultra), comparados con su predecesor, el GB200 NVL72. Los resultados son contundentes: en un escenario de uso de contexto largo —con entradas de hasta 128,000 tokens y salidas de 8,000— el sistema alcanza 226,2 tokens por segundo (TPS) por GPU, superando en 1,53 veces al GB200 en máximo rendimiento. Este aumento de eficiencia es aún más significativo al analizar la experiencia del usuario y la degradación bajo restricciones de latencia, aspectos críticos para los agentes y asistentes de programación.

El GB300 NVL72 no es simplemente una tarjeta gráfica más poderosa, sino un sistema a escala de rack con 72 GPUs Blackwell Ultra y 36 CPUs Grace. Está diseñado para funcionar como una auténtica «fábrica» de inferencia, preparada para enfrentar escenarios de alta exigencia en los que la memoria y el ancho de banda son tan cruciales como el poder de cómputo.

El contexto largo supone un cambio radical en las reglas del juego, desplazando el cuello de botella hacia el KV cache, es decir, la memoria necesaria para recordar el contexto durante la generación de respuestas, y hacia la capacidad de la memoria HBM disponible para manejar múltiples solicitudes simultáneas.

LMSYS ha evaluado a DeepSeek-R1 en un patrón de servicio típico de contexto largo utilizando técnicas avanzadas en serving moderno para optimizar el hardware. Estas incluyen la desagregación de prefill-decode, que separa el proceso de inicio de prompt de la generación de tokens, el chunking dinámico, que divide el prefill en bloques sobrepuestos reduciendo el tiempo hasta el primer token (TTFT), y la predicción multinúcleo de tokens (MTP) que incrementa el rendimiento por usuario sin afectar el throughput global.

Los números hablan por sí solos. Sin la técnica MTP, el GB300 alcanza 226,2 TPS/GPU, comparado con 147,9 TPS/GPU en el GB200. Con MTP activado, aunque el carrying agregado se mantiene elevado, el verdadero avance se refleja en la velocidad percibida por cada sesión de usuario, con un aumento del 87% en TPS por usuario en el GB300.

En escenarios de latencia estricta, el GB300 muestra entre un 1,38 y un 1,58 veces más TPS/GPU que el GB200, con una mayor ventaja en contextos sensibles a la latencia. Este rendimiento se debe a su capacidad de sostener más sesiones activas en memoria sin necesidad de replegar estado gracias a su 1,5 veces más memoria HBM, lo cual permite una mayor concurrencia sin penalizaciones significativas.

El prefill de 128.000 tokens, que representa un desafío para muchos sistemas, es abordado eficazmente por el GB300 mediante chunking dinámico, logrando reducir el TTFT a 8,6 segundos frente a los más de 15 segundos en escenarios no optimizados.

El análisis de costes, sin embargo, sigue siendo un tema de discusión. Aunque NVIDIA afirma que el GB300 ofrece hasta 50 veces más throughput por megavatio y costes significativamente menores por token en comparación con Hopper, la fotografía completa del coste total de propiedad (TCO) aún está por revelarse plenamente.

En conclusión, el despliegue de Blackwell Ultra marca una nueva era en el campo de batalla del contexto largo en la inteligencia artificial, desafiando las métricas tradicionales y centrando la competencia no solo en la velocidad, sino también en la capacidad de memoria y manejo de datos simultáneos. Pero el debate sobre su coste real de implementación todavía está en curso, y solo el tiempo dirá cómo afectará a su adopción en la industria.

Más información y referencias en Noticias Cloud.