En un esfuerzo por optimizar la resiliencia de la infraestructura de entrenamiento de hardware, Amazon Web Services (AWS) ha lanzado un nuevo componente para su servicio Amazon Elastic Kubernetes Service (Amazon EKS), que promete reducir las interrupciones y costos asociados con fallos de hardware durante el entrenamiento de modelos de machine learning (ML). El recién introducido detector de problemas y recuperación automática para nodos AWS Neuron, implementado como DaemonSet, está específicamente diseñado para AWS Trainium y AWS Inferentia.
El sistema ofrece monitoreo proactivo y mecanismos de recuperación automática, permitiendo a las organizaciones crear entornos tolerantes a fallos y minimizar los riesgos que puedan comprometer la integridad del proceso de entrenamiento. Este avance tecnológico es crucial en el actual panorama de competencia en inteligencia artificial, donde el tiempo perdido por interrupciones puede representar un importante impacto financiero y de productividad.
El nuevo DaemonSet para Amazon EKS es capaz de detectar rápidamente problemas raros relacionados con fallos en los dispositivos Neuron al monitorear los logs de los nodos. Identifica y marca como no saludables a los nodos con fallas, y los reemplaza automáticamente con nuevos nodos de trabajo. Esto incrementa la confiabilidad del entrenamiento de ML, mitigando tiempos de inactividad y reduciendo costos.
Esta solución es compatible con nodos gestionados y grupos de nodos autogestionados en Amazon EKS, aunque actualmente no es aplicable a los nodos provisionados por Karpenter. El funcionamiento del sistema se basa en dos componentes principales: el detector de problemas y el agente de recuperación de nodos.
El detector de problemas se integra como un DaemonSet que monitorea continuamente los logs del kernel (kmsg) en los nodos. Si encuentra errores específicos relacionados con el dispositivo Neuron, cambia el estado del nodo a NeuronHasError en el servidor API de Kubernetes. Esto activa el agente de recuperación de nodos, el cual revisa periódicamente las métricas proporcionadas por el detector y, si detecta un problema, marca el nodo como no saludable y lanza un nuevo nodo para su reemplazo. Además, el agente de recuperación publica métricas de Amazon CloudWatch para seguimiento y generación de alertas.
La implementación de esta solución en un clúster EKS implica varios pasos técnicos, como crear el clúster, desplegar el complemento Neuron para el detector de problemas y ajustar las políticas de IAM y autoescalado según las configuraciones específicas del usuario. Una vez implementado, el sistema puede simular fallos inyectando logs de error en los nodos, lo que permite observar cómo el nodo afectado es reemplazado automáticamente.
Para aquellas organizaciones que buscan personalizar sus respuestas a errores específicos, es posible configurar alarmas en CloudWatch que monitoricen las métricas y ejecutar consultas CloudWatch Metrics Insights para evaluar dichas alarmas.
En definitiva, el detector de problemas y recuperación de nodos para Amazon EKS representa un avance significativo en mejorar la confiabilidad y tolerancia a fallos de las cargas de trabajo de entrenamiento de machine learning. Esta solución permite detectar y reemplazar automáticamente nodos defectuosos, garantizando así que los entrenamientos continúen sin interrupciones y con mayor eficiencia.
Para una correcta finalización del uso de estos recursos, AWS proporciona un script de limpieza que elimina todos los recursos aprovisionados durante la ejecución de la herramienta.
Esta incorporación subraya el compromiso de AWS con la innovación y la eficiencia en el ámbito del machine learning, ofreciendo a los desarrolladores una herramienta poderosa para mantener la estabilidad y continuidad de sus operaciones.
