El equipo de Inteligencia Artificial de Salesforce ha dado un paso significativo al optimizar el despliegue de modelos de lenguaje grande (LLMs) mediante la implementación de Amazon Bedrock Custom Model Import. Antes de esta transición, la gestión de infraestructura en Salesforce conllevaba una ardua tarea que abarcaba meses de esfuerzo para optimizar instancias y motores de servicio, elevando tanto los tiempos como los costos operativos debido a su dependencia de las GPU. Ahora, con Amazon Bedrock, el equipo puede concentrar sus recursos en el desarrollo de modelos y lógica empresarial, aliviando la carga operativa.
La integración con Amazon Bedrock se realizó cuidadosamente para evitar interrupciones en las cargas de trabajo existentes. Gracias a esto, Salesforce pudo mantener sus API y servicios sin modificaciones, garantizando un despliegue sin tiempo de inactividad. Utilizando la capacidad sin servidor de Amazon Bedrock, la empresa logró preservar su inversión en infraestructura actual.
Durante la fase de implementación, se mejoró el proceso de entrega de modelos al registrar el modelo con el API de Amazon Bedrock Custom Model Import, luego de guardar los artefactos en un bucket de Amazon S3. Este método permite un despliegue eficiente, con un tiempo de espera de aproximadamente 1 hora, y una mayor eficacia gracias a que Amazon Bedrock pre-carga los modelos, eliminando la necesidad de descargas al iniciar el contenedor.
Salesforce llevó a cabo pruebas de carga para validar la escalabilidad de Amazon Bedrock, obteniendo resultados reveladores: una reducción del 44% en la latencia bajo niveles bajos de concurrencia y un rendimiento constante incluso bajo cargas pesadas. Esta capacidad de autoescalado garantiza que el servicio responda eficazmente a las demandas en tiempo real.
Operativamente, Salesforce ha logrado reducir en un 30% el tiempo necesario para iterar y desplegar modelos, además de alcanzar un ahorro de costos de hasta un 40% gracias al modelo de pago por uso. Esto ha resultado ser especialmente beneficioso en etapas de desarrollo, donde los recursos de GPU son necesarios solo durante períodos activos.
Entre las lecciones aprendidas, Salesforce destaca la importancia de validar la compatibilidad de los modelos antes del despliegue y considerar el impacto de los tiempos de inicio en modelos más grandes. Para quienes buscan simplificar el despliegue de modelos de lenguaje a gran escala, la experiencia de Salesforce ofrece una guía clara para abordar desafíos operativos y de costos sin comprometer el rendimiento.
