La revolución de la inteligencia artificial ha encontrado un nuevo aliado en los PCs Copilot+, que prometen llevar la tecnología de vanguardia directamente a los hogares y oficinas. Con la integración de DeepSeek R1 en Azure AI Foundry, se abre la puerta a una serie de innovaciones que optimizan el uso de unidades de procesamiento neural (NPU) en dispositivos cotidianos. Estas mejoras se lanzarán inicialmente con el Qualcomm Snapdragon X y progresivamente se extenderán a otros procesadores como el Intel Core Ultra 200V.
En el corazón de esta transformación se encuentra el modelo DeepSeek-R1-Distill-Qwen-1.5B, ya disponible en el AI Toolkit, con versiones más robustas de 7B y 14B en camino. Estos modelos están diseñados para facilitar a los desarrolladores la creación y despliegue de aplicaciones de inteligencia artificial directamente en dispositivos locales, aprovechando al máximo la potencia de las NPUs.
El avance ha sido posible gracias a las innovaciones desarrolladas por Phi Silica, que han permitido un proceso de inferencia altamente eficiente. Esto no solo mejora el rendimiento de la IA, sino que también minimiza el impacto en la duración de la batería y el consumo de recursos, factores críticos para la funcionalidad y autonomía de los PCs Copilot+.
Los desarrolladores interesados pueden comenzar a experimentar con DeepSeek utilizando la extensión AI Toolkit para Visual Studio Code, que permite el acceso al catálogo de modelos optimizados en formato ONNX QDQ. Esta herramienta ofrece la posibilidad de evaluar el desempeño de estos modelos con facilidad y también de explorar las versiones alojadas en la nube a través de Azure Foundry.
Un componente crucial del modelo Qwen 1.5B es su diseño sofisticado, que incluye un tokenizador y una serie de capas de procesamiento que equilibran la carga entre la CPU y la NPU. Este equilibrio es posible gracias a técnicas avanzadas de cuantización y a un esquema innovador que mejora la precisión en la computación intensiva.
El resultado es un modelo que responde con notable velocidad, alcanzando tiempos de respuesta de apenas 130 milisegundos y procesando hasta 16 tokens por segundo en interacciones cotidianas. Este diseño no solo incrementa su eficiencia, sino que también redefine la experiencia del usuario al interactuar con tecnologías de IA de vanguardia.
Con estas innovaciones, el panorama del desarrollo de aplicaciones de inteligencia artificial se expande al permitir que tanto usuarios como desarrolladores lleven a cabo tareas de IA complejas de manera local, sin depender exclusivamente de la conectividad con la nube. Este enfoque aporta una nueva dimensión a la personalización y sostenibilidad de la IA, marcando un hito en la evolución tecnológica de los dispositivos personales.
