En un mundo donde la implementación de la inteligencia artificial (IA) y el aprendizaje automático (ML) se vuelve cada vez más crucial para las empresas, la optimización de costos se erige como un desafío crítico. Una empresa dedicada a soluciones de inteligencia de video, que trabaja con modelos YOLOv8, se enfrentó precisamente a este reto. Para abordar la situación, se asoció con Automat-it, un socio Premier de AWS, para desarrollar una plataforma en la nube de AWS empleando Elastic Kubernetes Service (EKS).

La colaboración buscaba maximizar la escalabilidad y el rendimiento mientras se minimizaban los costos. Inicialmente, cada modelo de IA funcionaba en una instancia de GPU dedicada, lo cual implicaba un uso ineficiente de los recursos de GPU, elevando significativamente los costos. El objetivo fijado para el gasto de infraestructura era de 30 dólares mensuales por cámara, manteniendo el tiempo de procesamiento por debajo de los 500 milisegundos.

El primer enfoque consistió en una arquitectura cliente-servidor que separaba las etapas de procesamiento, pero los costos sobrepasaron los objetivos, ascendiendo a 353,03 dólares mensuales por cámara. A pesar del rendimiento satisfactorio, se hizo evidente la necesidad de una estrategia más optimizada.

Automat-it, en su intento por resolver el desafío, migró a un sistema de “time slicing” de GPU. Este modelo permite que las instancias de IA compartan una sola GPU, incrementando la eficiencia en el uso de recursos. Con el uso del plugin de NVIDIA para Kubernetes, el equipo simplificó la escalabilidad y disminuyó la carga operativa de la infraestructura.

Los esfuerzos dieron fruto. Tras pruebas exhaustivas y ajustes en la configuración, el costo por cámara se redujo a 27,81 dólares, logrando una disminución de costos más de doce veces respecto al método inicial, sin sacrificar el rendimiento de los modelos de IA.

Este caso es un ejemplo elocuente de cómo la optimización de recursos en entornos de IA no solo puede reducir costos, sino también mantener un servicio de alta calidad. La integración de tecnologías modernas y la utilización eficiente de servicios en la nube se perfilan como soluciones efectivas para mejorar la eficiencia operativa y satisfacer las demandas de un mercado cada vez más exigente.