Kioxia Corporation, un referente mundial en soluciones de memoria, ha dado a conocer una significativa actualización de su software open source AiSAQ (All-in-Storage ANNS with Product Quantization). Esta versión está diseñada para mejorar el rendimiento de búsqueda vectorial en sistemas de recuperación aumentada por generación (RAG), optimizando el uso de discos de estado sólido (SSD) y prescindiendo de la memoria DRAM.
La novedosa actualización de AiSAQ ofrece controles configurables que permiten a los arquitectos de sistemas ajustar el equilibrio entre el número de vectores almacenados y el rendimiento de búsqueda, sin necesidad de modificar el hardware existente. Esta flexibilidad resulta crucial para adaptarse a diversas cargas de trabajo.
Introducido en enero de 2025, AiSAQ aprovecha un algoritmo ANNS optimizado para SSDs, derivado de la tecnología DiskANN de Microsoft. A diferencia de las técnicas tradicionales que dependen de la memoria DRAM para gestionar grandes índices, AiSAQ realiza búsquedas directamente desde el almacenamiento, mejorando la eficiencia.
La compañía destaca que, al mantener constante la capacidad del SSD, aumentar el rendimiento de las búsquedas implica reducir el número de vectores almacenados, y viceversa. La nueva versión permite una precisa configuración del sistema para encontrar el equilibrio ideal entre rendimiento y capacidad, esencial en aplicaciones como RAG y sistemas de recomendación.
Entre las innovaciones principales se incluyen la búsqueda escalable sin DRAM, almacenamiento de vectores PQ en línea para minimizar operaciones de E/S, reorganización optimizada de vectores y múltiples puntos de entrada al índice para reducir iteraciones. Además, el ancho de haz vectorial permite paralelizar búsquedas y las cachés estáticas y dinámicas de vectores PQ aceleran el acceso usando políticas LRU por hilo.
Gracias a estas características, AiSAQ se posiciona como una solución robusta y escalable para búsquedas vectoriales, muy demandadas en entornos de inteligencia artificial generativa, donde la eficiencia en almacenamiento y latencia es crucial.
El software está disponible en GitHub, permitiendo su uso y contribución por parte de la comunidad. Requiere el uso de liburing para lecturas asincrónicas en Linux y bibliotecas como Intel MKL. También se ofrecen versiones compatibles con Windows.
Con el auge de modelos de lenguaje generativo y arquitecturas como RAG, el manejo de grandes volúmenes de datos vectoriales se ha convertido en un desafío. Las soluciones centradas en SSD permiten sistemas más escalables y sostenibles, alineándose con la visión de Kioxia de fomentar infraestructuras eficientes para el futuro de la inteligencia artificial.
Más información y referencias en Noticias Cloud.
