El avance de China en el ámbito de la inteligencia artificial continúa imparable, pese a las restricciones impuestas por Estados Unidos en el acceso a chips avanzados y tecnología de fabricación. A la vanguardia de esta progresión se encuentra DeepSeek AI, una de las empresas más innovadoras del sector, que ha revelado el Fire-Flyer File System (3FS), un sistema de archivos distribuido revolucionario para optimizar las cargas de trabajo de entrenamiento e inferencia en inteligencia artificial.
Este sistema, diseñado para ser de código abierto, maximiza las capacidades de los SSDs modernos y redes RDMA, logrando un desempeño de lectura que supera los estándares vigentes. Esto resulta esencial en un contexto donde el acceso eficiente a grandes volúmenes de datos se vuelve crítico en entornos de alto rendimiento.
A medida que los modelos de inteligencia artificial se complejizan, la necesidad de sistemas de almacenamiento que faciliten un rápido acceso a los datos se vuelve esencial. 3FS fue diseñado para este propósito, ofreciendo una solución que mejora el rendimiento y la escalabilidad en entornos avanzados de computación. Sus principales características incluyen una arquitectura desagregada que amalgama miles de SSDs y numerosos nodos de almacenamiento, asegurando un eficiente acceso a los datos sin importar su ubicación física. Asimismo, su implementación de Chain Replication con Apportioned Queries (CRAQ) garantiza una consistencia robusta de los datos, simplificando el desarrollo de aplicaciones. Además, su interfaz de archivos estándar permite el uso expedito de sistemas de almacenamiento sin requerir la adquisición de nuevos conocimientos, utilizando bases de datos transaccionales como FoundationDB para gestionar metadatos.
DeepSeek ha probado a 3FS bajo condiciones de intensa carga, arrojando resultados sobresalientes. En un clúster de 180 nodos, cada uno con 16 SSDs NVMe de 14 TiB y redes InfiniBand de 200 Gbps, se alcanzó una velocidad de lectura agregada de 6,6 TiB/s (7,25 TB/s). Asimismo, en el benchmark GraySort, se procesaron 110,5 TiB en 30 minutos y 14 segundos, logrando una velocidad de 3,66 TiB/minuto en un clúster de 25 nodos. En tareas de inferencia con modelos de lenguaje, el sistema alcanzó un rendimiento máximo superior a 40 GiB/s por nodo, optimizando el almacenamiento en caché sin una excesiva dependencia de la memoria DRAM.
La eficiencia en el almacenamiento de datos representa un desafío fundamental en el desarrollo de modelos de inteligencia artificial. DeepSeek ha integrado 3FS en su infraestructura desde 2019, permitiéndoles incrementar el rendimiento de sus modelos con un menor consumo de recursos. Según la compañía, su sistema logró el 80% del rendimiento de un servidor NVIDIA DGX-A100, pero a solo el 50% del costo y el 60% del consumo energético, ofreciendo así una ventaja competitiva crucial para aquellas empresas que buscan optimizar costos sin comprometer el rendimiento.
3FS no solo es una herramienta potente, sino también accesible, ya que se ha liberado como software de código abierto, permitiendo a investigadores y empresas beneficiarse de esta tecnología para sus propias aplicaciones de inteligencia artificial. El código fuente y la documentación oficial pueden encontrarse en el repositorio oficial de GitHub.
El Fire-Flyer File System (3FS) posiciona a DeepSeek como una de las compañías líderes en innovación en inteligencia artificial, demostrando que China no solo ha alcanzado a sus competidores, sino que también está definiendo el futuro en términos de infraestructura tecnológica para el sector. Con el aumento de la demanda de soluciones optimizadas para el entrenamiento de modelos, 3FS podría convertirse en una herramienta esencial para centros de datos, instituciones de investigación y empresas que buscan mejorar sus capacidades sin depender de tecnologías propietarias.
