Salesforce, Inc., reconocida empresa estadounidense de software basada en la nube, está dando un paso significativo hacia la inteligencia artificial general (AGI) enfocada en los negocios. Desde su sede en San Francisco, California, la compañía continúa innovando en el ámbito de la gestión de relaciones con clientes (CRM) mediante la integración de funciones predictivas y generativas en su software de SaaS. Asimismo, trabaja en automatizaciones inteligentes utilizando agentes de inteligencia artificial (IA).
Uno de los componentes clave de esta estrategia tecnológica es Salesforce Einstein, un conjunto de tecnologías de IA diseñadas para integrarse con la Plataforma de Éxito del Cliente de Salesforce. Einstein se caracteriza por ofrecer más de 60 funciones en diversas categorías, tales como aprendizaje automático (ML), procesamiento de lenguaje natural (NLP), visión por computadora y reconocimiento automático de voz. Estas capacidades avanzadas de IA se destinan a mejorar áreas cruciales del negocio como ventas, servicio al cliente, marketing, entre otras.
Recientemente, el equipo de la Plataforma de IA de Salesforce Einstein ha intensificado sus esfuerzos para mejorar el rendimiento de los modelos de lenguaje grande (LLM) empleados en sus productos Einstein. Estos modelos proporcionan capacidades sofisticadas de NLP, esenciales para diversas aplicaciones empresariales.
En un proyecto reciente, el equipo de Einstein AI se enfocó en optimizar la latencia y el rendimiento del modelo de IA para generación de código empleando Amazon SageMaker. Conocido como CodeGen, este modelo traduce lenguaje natural a lenguajes de programación y requería una solución capaz de manejar grandes volúmenes de solicitudes de inferencia y múltiples solicitudes concurrentes a gran escala.
Amazon SageMaker se destacó como la solución más adecuada para satisfacer las necesidades de Salesforce, destacándose por sus características específicas como los contenedores de inferencia de modelos grandes (LMI) y estrategias avanzadas de agrupamiento y enrutamiento. Estas funcionalidades permitieron optimizar el uso de los recursos de GPU y mejorar de manera significativa tanto la latencia como el rendimiento.
La integración de SageMaker permitió aumentar la capacidad de manejo del modelo CodeGen de seis a 400 solicitudes por minuto, al mismo tiempo que redujo la latencia de más de 30 segundos a aproximadamente siete segundos por solicitud. Estos ajustes resultaron en una mejora del rendimiento superior al 6500%.
Esta colaboración no solo ha incrementado la eficiencia operativa de Salesforce, sino que también ha abierto nuevas oportunidades para la optimización y escalabilidad de sus soluciones de IA. Gracias a SageMaker, Salesforce ha establecido un robusto marco para integrar capacidades avanzadas de IA en sus aplicaciones, asegurando que sus clientes continúen recibiendo la tecnología más avanzada disponible.
vía: AWS machine learning blog
