Snowflake, la compañía de nube de datos impulsada por inteligencia artificial (IA), ha dado un paso adelante en el campo de la tecnología al anunciar la integración de la colección Llama 3.1 de modelos de lenguaje multilingües de código abierto en su plataforma Snowflake Cortex AI. Esta iniciativa permitirá a las empresas crear y utilizar aplicaciones de IA avanzadas a gran escala de manera más sencilla y eficiente.
El lanzamiento incluye el modelo de lenguaje más grande y avanzado de Meta, el Llama 3.1 405B. Para facilitar su uso, Snowflake ha desarrollado un conjunto de herramientas de inferencia que promete mejorar el rendimiento en tiempo real, democratizando el acceso a aplicaciones avanzadas de procesamiento y generación de lenguaje natural. La optimización de Snowflake para este modelo permite una ventana de contexto de 128K desde el primer día, con una latencia hasta tres veces menor y un rendimiento 1.4 veces superior al de las soluciones de código abierto actuales. Además, el ajuste del modelo se puede realizar de forma masiva con un solo nodo de GPU, lo que simplifica y abarata su uso para desarrolladores y usuarios dentro de Cortex AI.
La colaboración con Meta permite a los clientes de Snowflake acceder, ajustar y desplegar los modelos más recientes de Meta en su plataforma de nube de datos de IA, bajo estrictas medidas de seguridad y confianza. Vivek Raghunathan, vicepresidente de ingeniería de IA en Snowflake, subrayó el compromiso de la empresa con la eficiencia y señaló: “Estamos facilitando a las empresas y a la comunidad de código abierto el uso de modelos de vanguardia como Llama 3.1 405B para inferencia y ajuste, maximizando la eficiencia”.
El equipo de investigación de IA de Snowflake sigue innovando en el terreno del código abierto, con contribuciones significativas a la comunidad de IA. Junto con el lanzamiento de Llama 3.1 405B, están presentando un conjunto avanzado de soluciones de inferencia de modelos de lenguaje masivo y optimización del ajuste fino, en colaboración con DeepSpeed, Hugging Face, vLLM y otros actores del sector. Esto marca un hito en la inferencia y ajuste de modelos con miles de millones de parámetros.
La complejidad de los grandes modelos y los altos requisitos de memoria son desafíos constantes en la obtención de una inferencia de baja latencia y alto rendimiento, necesaria para aplicaciones empresariales de IA generativa en tiempo real. La pila de optimización de Snowflake aborda estos problemas con técnicas avanzadas de paralelismo y memoria, permitiendo un procesamiento eficiente sin necesidad de infraestructura costosa. El soporte para hardware variado, la capacidad de ajustar modelos usando técnicas de precisión mixta en menos GPU y la eliminación de la necesidad de clusters grandes hacen que esta tecnología sea accesible para un mayor número de empresas.
Además, Snowflake ha desarrollado una infraestructura para el ajuste fino que incluye técnicas como la destilación de modelos, barreras de seguridad, la generación aumentada de recuperación (RAG) y la generación de datos sintéticos. Estas características facilitan el inicio en estos casos de uso dentro de Cortex AI, proporcionando una solución integradora y robusta.
La seguridad es una prioridad para Snowflake y sus clientes. Como parte de su compromiso, Snowflake ha lanzado Snowflake Cortex Guard para proteger contra contenido dañino en cualquier aplicación de modelos de lenguaje masivo (LLM) o activo creado en Cortex AI. Utilizando Llama Guard 2 de Meta, esta herramienta garantiza que los modelos utilizados sean seguros.
Las reacciones a este anuncio no se hicieron esperar, y varios clientes y socios de Snowflake elogiaron la iniciativa. Dave Lindley de E15 Group destacó la utilidad de los modelos Llama en la mejora de su plataforma de Voz del Cliente, mientras que Ryan Klapper de Hakkoda valoró las garantías de seguridad proporcionadas por Snowflake. Matthew Scullion de Matillion y Kevin Niparko de Twilio Segment también resaltaron la capacidad de estos modelos avanzados para generar perspectivas inteligentes y adaptarse a las necesidades de IA de sus clientes.
Con esta integración, Snowflake continua su misión de liderar el campo de la inteligencia artificial y el procesamiento de lenguaje natural, ofreciendo a las empresas herramientas y tecnologías que no solo aumentan la eficiencia, sino también la seguridad y accesibilidad en el uso de aplicaciones avanzadas de IA.
