En el mundo de la inteligencia artificial, la discusión ya no se centra únicamente en el rendimiento bruto de los sistemas, sino en un elemento más pragmático: el costo de generar cada token cuando se busca proporcionar respuestas rápidas con un alto grado de interactividad. Un reciente análisis de la firma Signal65 arroja luz sobre esta nueva realidad y destaca cómo los modelos conocidos como MoE (Mezcla de Expertos) están rediseñando las prioridades de la industria. En este nuevo ecosistema, la comunicación entre nodos y la latencia interna son tan cruciales como la capacidad de cálculo bruta.
El análisis de Signal65 compara las capacidades de las plataformas de NVIDIA y AMD bajo la premisa de que el costo relativo por token depende tanto del precio de la plataforma como de la cantidad de tokens por segundo que esta puede gestionar, manteniendo la interactividad del usuario. Según este estudio, las configuraciones orientadas a MoE de NVIDIA, especialmente el rack GB200 NVL72, ofrecen un rendimiento notablemente superior al de la competencia, destacando un throughput que es hasta 28 veces mayor por GPU que el ofrecido por las plataformas AMD MI355X, especialmente cuando se considera un nivel alto de interactividad de 75 tokens por segundo por usuario.
Este enfoque hacia los MoE ha cambiado las reglas del juego: el cuello de botella ya no se limita a la capacidad de cómputo, sino a la eficaz coordinación de expertos, lo que resulta en altos niveles de intercambio de datos y presión sobre el ancho de banda interno. NVIDIA ha abordado este desafío desarrollando un dominio de cálculo y memoria de alta velocidad diseñado para minimizar estos cuellos de botella, una estrategia que parece dar sus frutos en escenarios de gran escala con memorización compartida y rápida.
En cuanto a AMD, su carta de presentación es la impresionante densidad de memoria y ancho de banda que ofrece su acelerador MI355X. Con una memoria de 288 GB de HBM3E y un ancho de banda de hasta 8 TB/s, esta plataforma está claramente orientada a manejar cargas de trabajo intensas en inteligencia artificial. Sin embargo, la verdadera ventaja competitiva parece inclinarse a favor de la arquitectura que mejor maneje el «tejido conectivo» del sistema en entornos MoE.
Las cifras presentadas por Signal65 revelan algunas comparaciones clave. A un objetivo de interactividad de 25 tokens por segundo por usuario, la relación de precio entre las dos plataformas (GB200 vs MI355X) es de 1,86×, con una diferencia de rendimiento de 5,85× y una mejora de 3,1× en rendimiento por dólar para NVIDIA. Sin embargo, al elevar la interactividad a 75 tokens por segundo, el rendimiento por GPU de NVIDIA supera al de AMD en 28 veces, ofreciendo hasta 15 veces más rendimiento por dólar.
Aunque los números son impresionantes, el estudio advierte que estos resultados deben interpretarse con cautela. Reflejan un escenario muy específico y dependen de múltiples factores, como las pilas de software utilizadas y las condiciones de precios en la nube, que pueden no siempre representar el coste real para empresas que operan a gran escala con compromisos de consumo o descuentos por volumen.
Mientras la industria de IA avanza hacia experiencias más interactivas y en tiempo real, las métricas como los tokens por segundo a objetivos de latencia específicos podrían convertirse en indicadores clave de rendimiento. En síntesis, aunque tanto NVIDIA como AMD ofrecen soluciones robustas y potentes, la arquitectura del sistema completo emerge como el diferencial crucial en términos de coste y eficiencia en escenarios MoE a gran escala.
Más información y referencias en Noticias Cloud.
