Las organizaciones que desarrollan modelos de aprendizaje automático (ML) a menudo enfrentan desafíos específicos que las plataformas estándar no pueden satisfacer. En el sector de la atención médica, por ejemplo, se requieren ambientes que protejan los datos de pacientes cumpliendo con la normativa HIPAA. Mientras tanto, en el sector financiero, las configuraciones de hardware deben optimizar los algoritmos de trading. Los equipos de investigación, por su parte, buscan flexibilidad para experimentar con técnicas de vanguardia utilizando marcos personalizados. Estas necesidades especializadas impulsan a las organizaciones a construir entornos de entrenamiento a medida, permitiéndoles controlar la selección de hardware, software y configuraciones de seguridad.
Crear estos entornos personalizados presenta sus propios desafíos, especialmente en la gestión del ciclo de vida del ML. Muchas organizaciones encuentran que desarrollar herramientas adicionales o usar soluciones de código abierto incrementa los costos operativos y requiere recursos de ingeniería que podrían destinarse a otras áreas.
Para abordar estos retos, AWS ofrece soluciones como los «Deep Learning Containers» (DLC) y el «MLflow» gestionado a través de Amazon SageMaker AI. Los DLC son contenedores Docker preconfigurados con marcos como TensorFlow y PyTorch, y controladores NVIDIA CUDA para soporte de GPU. Están optimizados para un rendimiento superior en AWS, se actualizan con las versiones y parches más recientes, y se integran fácilmente con los servicios de AWS para el entrenamiento y la inferencia. Las «Deep Learning AMIs» (DLAMIs) son imágenes de máquina de Amazon diseñadas para instancias EC2 que también incorporan frameworks populares y son compatibles tanto con CPU como con GPU.
El MLflow gestionado por SageMaker ofrece una gestión integral del ciclo de vida, permitiendo el registro automático de experimentos y una comparación mejorada de modelos, al tiempo que ofrece un seguimiento de procedencia completo. Este servicio gestionado en SageMaker AI reduce la carga operativa de mantener la infraestructura de seguimiento.
La combinación de DLC y MLflow gestionado no solo asegura control sobre la infraestructura, sino que también mejora la gobernanza del ML. Esta integración permite que los equipos se adapten a requisitos especializados mientras disminuye el tiempo y los recursos necesarios para gestionar el ciclo de vida del ML.
Implementar esta solución implica desarrollar un modelo de red neuronal en TensorFlow para predecir la edad de abalones, integrando el seguimiento de MLflow. Los pasos incluyen extraer un contenedor de entrenamiento de TensorFlow optimizado del repositorio ECR de AWS y configurar una instancia EC2 con acceso al servidor de seguimiento de MLflow. Se ejecuta la formación en el DLC, almacenando los artefactos del modelo en Amazon S3 y registrando los resultados del experimento en MLflow. Los resultados se analizan a través de la interfaz de usuario de MLflow, facilitando la comparación del rendimiento de los modelos.
Finalmente, el modelo registrado en el «Modelo Registry de Amazon SageMaker» permite un seguimiento completo desde el experimento hasta el modelo desplegado, creando una auditoría que conecta directamente los entrenamientos con los modelos en producción. Esta integración no solo aporta visibilidad y cumplimiento a lo largo del ciclo de vida del aprendizaje automático, sino que también optimiza la gestión de modelos ofreciendo una mejor gobernanza mientras se mantiene la flexibilidad necesaria para la innovación.
