Las aplicaciones de inteligencia artificial generativa (IA generativa) se están convirtiendo rápidamente en una herramienta esencial para diversas industrias. Un método popular para el desarrollo de estas aplicaciones es la Generación Aumentada por Recuperación (RAG). Esta técnica permite que los modelos base accedan a datos adicionales que no estaban disponibles durante su entrenamiento, lo que enriquece el contexto de las respuestas generadas por la IA, mejorando su precisión y transparencia sin la necesidad de reentrenar constantemente el modelo.
Una nueva solución ha sido presentada utilizando Amazon FSx para NetApp ONTAP junto con Amazon Bedrock para proporcionar una experiencia RAG para aplicaciones de IA generativa en Amazon Web Services (AWS). Esta solución permite traer información no estructurada específica de una empresa a Amazon Bedrock de manera rápida y segura. Mediante el uso de un sistema de archivos FSx for ONTAP como fuente de datos no estructurados, se actualiza continuamente una base de datos vectorial Amazon OpenSearch Serverless con los archivos, carpetas y metadatos del usuario. Esto permite que Amazon Bedrock enriquezca los prompts de la IA generativa utilizando datos específicos de la empresa provenientes de la base de datos vectorial de OpenSearch.
Uno de los principales desafíos en el desarrollo de aplicaciones de IA generativa es garantizar la seguridad de los datos y prevenir consultas a fuentes no autorizadas. La solución presentada aborda este desafío usando FSx for ONTAP para extender los mecanismos actuales de seguridad de datos y control de acceso, aumentando así las respuestas de modelos en Amazon Bedrock. Incorporando las configuraciones de la lista de control de acceso (ACL) de los usuarios, se asegura que Amazon Bedrock utilice únicamente datos autorizados para usuarios específicos conectados a la aplicación de IA generativa.
Los servicios serverless de AWS facilitan la construcción de aplicaciones de IA generativa, proporcionando escalabilidad automática, alta disponibilidad incorporada y un modelo de facturación basado en el uso. La computación impulsada por eventos con AWS Lambda es ideal para tareas intensivas en computación bajo demanda y la orquestación flexible de grandes modelos de lenguaje, mientras que Amazon API Gateway ofrece una interfaz API que permite una integración sencilla y la invocación por eventos de los modelos.
La solución descrita incluye un sistema de archivos FSx for ONTAP Multi-AZ con una máquina virtual de almacenamiento (SVM) vinculada a un dominio AWS Managed Microsoft AD. También utiliza una colección de búsqueda vectorial en OpenSearch Serverless, proporcionando capacidad de búsqueda similar y de alta performance. Asimismo, se integra el uso de servidores Amazon Elastic Compute Cloud (Amazon EC2) para gestionar el acceso al almacenamiento y las ACLs. Un componente de contenedor de embeddings migra periódicamente archivos y carpetas existentes con sus configuraciones de ACL de seguridad a OpenSearch Serverless. La función Lambda para recuperación RAG enriquece los prompts de IA generativa usando APIs de Amazon Bedrock, con datos y metadatos específicos de la empresa recuperados del índice OpenSearch Serverless.
Los usuarios interactúan con la solución enviando un prompt en lenguaje natural a través de una aplicación de chatbot o directamente mediante la interfaz de API Gateway. El chatbot está construido con Streamlit y gestionado por un AWS Application Load Balancer (ALB), demostrando accesos basados en permisos mediante ACLs de Windows configuradas para cada documento.
Para implementar esta solución, se debe clonar el repositorio disponible en GitHub y utilizar la plantilla Terraform para provisionar todos los componentes con sus configuraciones. El proceso completo puede llevar entre 15 y 20 minutos y se puede realizar siguiendo los pasos indicados.
Finalmente, para evitar cargos adicionales, se recomienda limpiar la cuenta AWS una vez finalizadas las pruebas, eliminando la plantilla Terraform.
En resumen, esta innovadora solución con FSx for ONTAP y Amazon Bedrock permite desarrollar aplicaciones de IA generativa que responden de manera precisa y segura utilizando datos específicos de la empresa. Los servicios serverless de AWS facilitan la escalabilidad automática y el cómputo impulsado por eventos, brindando una infraestructura robusta para aplicaciones de IA generativa.
