Amazon Web Services (AWS) ha lanzado una funcionalidad que promete revolucionar la asignación de recursos en el ámbito del aprendizaje automático. Mediante la utilización de la gobernanza de tareas de SageMaker HyperPod, los clientes ahora pueden gestionar de manera granular la computación y memoria dentro de Amazon Elastic Kubernetes Service (EKS).
Esta innovación permite una distribución equitativa de recursos como GPU, vCPU y memoria de vCPU entre diferentes equipos y proyectos. Al establecer límites, se evita que un solo grupo monopolice los recursos del clúster, situación crítica para mantener un manejo presupuestario equilibrado.
La gobernanza de tareas de HyperPod otorga a los administradores la capacidad de asignar recursos según las necesidades y preferencias de cada equipo, incluyendo asignaciones a nivel de tipo de instancia y familia para GPUs, y opciones de CPU y memoria para un control detallado. Además, se pueden ajustar prioridades para gestionar los recursos no utilizados, optimizando así la eficiencia.
Daniel Xu, Director de Producto en Snorkel AI, subrayó la relevancia de esta nueva capacidad para maximizar el uso de clústeres, especialmente en experimentos avanzados y pipelines de producción. Xu resaltó que la gestión del acceso a GPUs de última generación es esencial para mejorar el rendimiento en entornos compartidos.
La implementación sigue un proceso sencillo a través de la consola de gestión de AWS, permitiendo definir políticas que priorizan tareas críticas y redistribuyen recursos inactivos. Esto es crucial para equipos que realizan experimentos con modelos de inteligencia artificial, donde la eficacia en la gestión de recursos afecta notablemente los resultados.
Con este avance, Amazon SageMaker HyperPod amplía su soporte a instancias basadas en CPU, GPU y AWS Neuron, brindando una flexibilidad sin precedentes. Esta mejora no solo optimiza la infraestructura para el aprendizaje automático, sino que también fortalece el posicionamiento de AWS como líder en el sector, asegurando que los equipos puedan acceder a los recursos adecuados sin costos innecesarios.
