Las organizaciones están integrando cada vez más la inteligencia artificial generativa en sus aplicaciones para mejorar la experiencia del cliente y optimizar operaciones. Sin embargo, el crecimiento de estas cargas de trabajo de IA presenta desafíos en términos de rendimiento, fiabilidad y disponibilidad consistentes. Para enfrentar esta situación, se busca escalar las tareas de inferencia de IA en múltiples regiones de AWS.
En este contexto, Amazon Bedrock ha introducido la capacidad de inferencia cruzada entre regiones (CRIS, por sus siglas en inglés), que redirige automáticamente las solicitudes de inferencia a través de diferentes regiones. Esta funcionalidad permite a las aplicaciones manejar ráfagas de tráfico y mejorar el rendimiento sin que los desarrolladores tengan que prever fluctuaciones en la demanda. La CRIS funciona mediante «perfiles de inferencia», que determinan un modelo base y las regiones a las que pueden ir las solicitudes.
Recientemente, se ha lanzado la inferencia cruzada global con Claude Sonnet 4.5 de Anthropic en Amazon Bedrock. Ahora, los usuarios pueden optar entre un perfil de inferencia específico de una geografía o uno global. Este avance ofrece flexibilidad a las organizaciones, ya que Amazon Bedrock selecciona automáticamente la región más adecuada dentro de la geografía elegida para procesar las solicitudes de inferencia. La CRIS global optimiza recursos, mejorando el rendimiento del modelo durante picos de uso inesperados.
La inferencia cruzada global emplea un sistema de enrutamiento inteligente que considera disponibilidad, capacidad y latencia para dirigir las solicitudes a la región más adecuada. Además, Amazon CloudWatch y AWS CloudTrail siguen registrando los eventos en la región de origen, facilitando el monitoreo y manteniendo la seguridad de los datos mediante cifrado durante todo el proceso.
Para implementar la inferencia cruzada global con Claude Sonnet 4.5, los desarrolladores deben especificar el ID del perfil de inferencia global en las API de Amazon Bedrock y configurar los permisos con AWS Identity and Access Management. Esta mejora no solo optimiza el rendimiento, sino que también supone beneficios de costos, con un ahorro de aproximadamente un 10% en comparación con la inferencia cruzada geográfica tradicional.
La adopción de esta capacidad puede brindar a las organizaciones una significativa mejora en el manejo de cargas de trabajo de gran volumen y situaciones de recuperación ante desastres, maximizando el valor de su inversión en Amazon Bedrock.
