Amazon SageMaker Canvas ha ampliado su capacidad para manejar datasets a gran escala, alcanzando la posibilidad de procesar petabytes de datos. A partir de hoy, las empresas pueden interactuar de manera eficiente con conjuntos de datos masivos, crear flujos de datos de extremo a extremo y realizar experimentos de machine learning automático (AutoML) sin la necesidad de escribir una sola línea de código. Esta mejora ofrece la posibilidad de realizar tareas complejas, como la preparación de datos y modelos de machine learning, con una interfaz intuitiva que incluye más de 50 conectores y un chat interactivo para la preparación de datos.
El desafío de extraer información valiosa de grandes volúmenes de datos es una constante para las organizaciones. Tradicionalmente, esto requería un alto nivel de especialización en ingeniería de datos y un considerable tiempo para desarrollar scripts y pipelines adecuados. Además, la experimentación con modelos e hiperparámetros y la gestión de clústeres complejos añadían capas adicionales de dificultad.
Con la última actualización de SageMaker Canvas, se puede preparar, importar y preparar datos a escala de petabytes y utilizar AutoML para explorar diversos modelos mediante chat y unos pocos clics. La nueva integración de SageMaker Canvas con Amazon EMR Serverless elimina la necesidad de escribir código y simplifica aún más estos procesos.
Para demostrar estas capacidades, se utilizó un dataset de muestra de 33 GB que contiene transacciones de compra de vuelos de Expedia. Los datos incluyeron variables como la fecha del vuelo, distancia, tipo de asiento, entre otros factores, para predecir la tarifa base del boleto. El proceso de preparación y análisis incluyó la importación de datos desde Amazon S3 utilizando Amazon SageMaker Data Wrangler, que permite explorar una muestra de los datos antes de escalar el flujo de datos completo.
La función de chat para la preparación de datos, impulsada por inteligencia artificial generativa, ha facilitado y reducido de manera significativa el tiempo y esfuerzo necesarios para estas tareas. Además, las transformaciones de baja o nula codificación (LCNC) con la interfaz de SageMaker Data Wrangler hacen que el proceso sea aún más fluido.
Una vez importados y preparados los datos con SageMaker Canvas y procesados los 33 GB de transacciones de vuelo con EMR Serverless, se creó un modelo seleccionando el dataset, el nombre del modelo, el tipo de problema y la columna objetivo. El sistema permite analizar los resultados a través de diversas pestañas que ofrecen una visión general detallada, la puntuación y métricas avanzadas del modelo.
Para ejecutar inferencias, SageMaker Canvas facilita la generación de predicciones en conjuntos de datos de prueba, proporcionando herramientas avanzadas de AutoML accesibles mediante una interfaz de lenguaje natural. La implementación de esta capacidad a escala de petabytes destaca por su potencial para democratizar el machine learning, permitiendo a organizaciones de todos los tamaños extraer insights y generar valor a partir de grandes y complejos conjuntos de datos.
Esta actualización en SageMaker Canvas no solo transforma la manera en que las empresas manejan sus datos e implementan soluciones de machine learning, sino que también pone a su disposición herramientas avanzadas que eran, hasta ahora, accesibles solo para expertos en el campo. La combinación de IA generativa, AutoML y la escalabilidad de EMR Serverless marca un hito significativo en la automatización y simplificación de procesos de machine learning, haciendo que los beneficios de esta tecnología estén al alcance de todos.
