Cisco ha logrado un avance notable en el ámbito de la tecnología de colaboración al mejorar la latencia de sus sistemas en un 50%. Esta mejora se ha conseguido mediante el uso de la función de escalado automático de Amazon SageMaker Inference, un servicio gestionado de inferencia de inteligencia artificial (IA).
Webex, una de las plataformas insignia de Cisco, se ha establecido como un líder en soluciones de colaboración basadas en la nube. La oferta de Webex incluye una gama de servicios que abarca desde reuniones por video y mensajería hasta encuestas y soluciones de experiencia del cliente. Todo esto impulsado por innovaciones en inteligencia artificial y aprendizaje automático. La seguridad y la privacidad han sido pilares fundamentales en el diseño de estas herramientas.
El equipo de Webex AI (WxAI) ha desempeñado un papel crucial en esta evolución, desarrollando funciones avanzadas de IA para mejorar la productividad y la experiencia del usuario. Un ejemplo destacado es el Webex Contact Center, que utiliza modelos de lenguaje de gran tamaño (LLMs) para ofrecer un soporte más personalizado y eficiente. Estas capacidades incluyen asistentes virtuales inteligentes, procesamiento del lenguaje natural y análisis de sentimientos.
La creciente complejidad y tamaño de los LLMs, que ahora contienen cientos de gigabytes de datos, plantearon serios desafíos en términos de asignación de recursos y tiempos de inicio de las aplicaciones. En respuesta, Cisco decidió migrar estos modelos a Amazon SageMaker Inference. Esta plataforma ha proporcionado mejoras significativas en velocidad, escalabilidad y costos.
La integración de la IA generativa en las soluciones de centros de contacto de Webex ha permitido una interacción más natural y humana entre clientes y agentes. La tecnología puede generar respuestas contextuales y empáticas y redactar automáticamente correos electrónicos y mensajes de chat personalizados. Esta eficiencia no compromete la calidad del servicio al cliente y ayuda a los agentes a manejar sus tareas de manera más efectiva.
El equipo de WxAI inicialmente incorporaba los modelos de LLM directamente en las imágenes de contenedores de aplicaciones ejecutadas en Amazon Elastic Kubernetes Service (Amazon EKS). Sin embargo, la complejidad de estos modelos requería grandes recursos computacionales que ralentizaban procesos esenciales. Esto limitaba la capacidad del equipo para desarrollar y desplegar nuevas funciones rápidamente.
Al migrar a SageMaker Inference, el equipo de WxAI ha conseguido desacoplar el alojamiento de los LLMs de las aplicaciones de Webex. Esta separación ha permitido una provisión de recursos más eficiente y ha mejorado la escalabilidad. El resultado es una reducción significativa en la latencia de la inferencia, mejorando la eficiencia de las aplicaciones críticas de IA.
Este progreso no solo optimiza el rendimiento actual de las aplicaciones de Cisco, sino que también abre las puertas a futuros desarrollos en IA. La colaboración continua entre Cisco y Amazon SageMaker es fundamental para seguir llevando estas innovaciones a las soluciones de Webex, proporcionando a los usuarios experiencias cada vez más enriquecedoras y eficientes.
