Salesforce se ha unido a Amazon Web Services (AWS) para revolucionar la implementación de modelos de inteligencia artificial, enfocándose especialmente en los modelos de lenguaje de gran tamaño (LLMs). Esta colaboración busca abordar los desafíos de desplegar modelos de manera eficiente, asegurando un rendimiento óptimo y un control de costos eficaz.
El equipo de Model Serving de Salesforce está al frente de este avance, estableciendo una infraestructura robusta que integra algoritmos de aprendizaje automático en aplicaciones críticas. Uno de los principales desafíos radica en manejar la diversidad de tamaños y requisitos de rendimiento de los modelos, que van desde unos pocos gigabytes hasta enormes 30 GB.
El despliegue eficiente se ha complicado debido a dos retos particulares. Los modelos más grandes, aunque poderosos, tienden a utilizar menos recursos, lo que resulta en un uso inadecuado de las instancias de múltiples GPUs. Por otro lado, los modelos de tamaño intermedio demandan un procesamiento rápido, implicando mayores costos por la sobreasignación de recursos.
Para solucionar estos problemas, Salesforce ha adoptado componentes de inferencia de Amazon SageMaker. Esta innovación facilita la implementación de múltiples modelos en un solo endpoint de SageMaker, permitiendo un control preciso sobre los aceleradores y la memoria asignada a cada modelo. Como resultado, se mejora la utilización de recursos y se reducen significativamente los costos de implementación.
La incorporación de estos componentes de inferencia no solo optimiza el uso de las GPUs, sino que también permite escalar los modelos según las necesidades específicas de cada aplicación. Esta estrategia mejora la eficiencia operativa de Salesforce, permitiendo ahorros de hasta un 80% en costos de despliegue. Además, incluso los modelos más pequeños se benefician de un rendimiento elevado, gracias a las poderosas GPUs, sin incurrir en gastos elevados.
Preparándose para el futuro, Salesforce planea utilizar la capacidad de actualizaciones continuas de estos componentes, asegurando que sus modelos se mantengan al día de manera eficiente. Esta estrategia minimiza la carga operativa y facilita la integración de futuras innovaciones en su plataforma de inteligencia artificial, posicionando a la compañía para continuar su expansión en el campo de la inteligencia artificial mientras mantiene altos estándares de eficiencia y costo-efectividad.
