Optimización de Respuestas de Asistentes de IA en Amazon Bedrock mediante el Uso de Bases de Conocimiento y Modelos de Reordenamiento

Los chatbots de inteligencia artificial y los asistentes virtuales han ganado una enorme popularidad en los últimos años, principalmente debido a los avances en modelos de lenguaje de gran capacidad (LLMs por sus siglas en inglés). Estos modelos, entrenados con vastos conjuntos de datos y con componentes de memoria en sus diseños, son capaces de comprender y contextualizar texto de manera eficiente.

En el ámbito empresarial, los asistentes chatbot se utilizan principalmente para mejorar la experiencia del cliente, aumentar la productividad y creatividad de los empleados, y optimizar procesos internos. Su aplicación se extiende desde el soporte al cliente y la resolución de problemas, hasta la búsqueda de conocimiento tanto interna como externamente.

Sin embargo, a pesar de estas avanzadas capacidades, uno de los desafíos más significativos sigue siendo la generación de respuestas precisas y de alta calidad. Para afrontar este reto, se ha desarrollado la técnica de Generación de Recuperación Aumentada (RAG). RAG optimiza la salida de los modelos LLM refiriéndose a una base de conocimiento autorizada externa a sus datos de entrenamiento antes de generar una respuesta. La técnica de reordenamiento dentro de RAG busca mejorar la relevancia de la búsqueda reorganizando los resultados de un recuperador inicial utilizando un modelo distinto.

RAG combina la recuperación de información de una base de conocimiento con modelos generativos para producir texto. Inicialmente, recupera respuestas relevantes de una base de datos, utilizando esas respuestas como contexto para el modelo generativo que luego produce la salida final. Este enfoque tiene varias ventajas, como proporcionar respuestas más coherentes y relevantes y mejorar el flujo de conversación. RAG también escala mejor con el incremento de datos y no requiere ajustes del modelo cuando se añade nueva información a la base de conocimiento.

Para encontrar una respuesta, RAG emplea la búsqueda vectorial a través de documentos. La búsqueda vectorial es rápida y escalable; convierte los textos en embeddings, que son representaciones comprimidas de los documentos en un arreglo de valores numéricos. Estos embeddings se almacenan en una base de datos, y la búsqueda consulta esta base de datos vectorial para encontrar similitudes en los vectores asociados.

Una técnica adicional que potencia la precisión de las respuestas es la reordenación, que selecciona la mejor opción entre varias respuestas candidatas. Un ejemplo práctico de esta técnica involucra la implementación de un flujo de trabajo RAG de extremo a extremo con «El Gran Gatsby» de F. Scott Fitzgerald, usando Bases de Conocimiento para Amazon Bedrock y una colección de búsqueda vectorial sin servidor de Amazon OpenSearch.

Preguntas generadas desde el documento con un LLM de Amazon Bedrock y una base de conocimientos pueden luego ser evaluadas utilizando la API de recuperación estándar RAG y una RAG de dos etapas, que incluye reordenación. La comparativa de estos dos métodos resulta clave.

Para medir la efectividad del RAG, se utiliza el marco RAGAS, que evalúa dimensiones como la relevancia de la respuesta, la similitud de la respuesta y la relevancia del contexto. En pruebas con «El Gran Gatsby», los resultados de un enfoque RAG estándar pueden verse mejorados con una reordenación adicional utilizando modelos avanzados, como bge-reranker-large disponible en Hugging Face Hub.

Las conclusiones de estos análisis han demostrado que usar un modelo de reordenación incrementa la relevancia del contexto, la precisión de la respuesta y la similitud, aunque supone un mayor tiempo de latencia. En resumen, la integración de modelos de reordenación con Bases de Conocimiento para Amazon Bedrock proporciona un mejor rendimiento en términos de precisión y relevancia de las respuestas generadas.

Mariana G.
Mariana G.
Mariana G. es una periodista europea y editora de noticias de actualidad en Madrid, España, y el mundo. Con más de 15 años de experiencia en el campo, se especializa en cubrir eventos de relevancia local e internacional, ofreciendo análisis profundos y reportajes detallados. Su trabajo diario incluye la supervisión de la redacción, la selección de temas de interés, y la edición de artículos para asegurar la máxima calidad informativa. Mariana es conocida por su enfoque riguroso y su capacidad para comunicar noticias complejas de manera clara y accesible para una audiencia diversa.

Más popular

Más artículos como este
Relacionados

El Auge de la Ciberseguridad en EdTech: Proyecciones de un Mercado de $243 Mil Millones para 2034

El mercado global de ciberseguridad en el ámbito de...

La Comunidad de Madrid Impulsa la Danza Educativa para Más de 13,000 Alumnos

La Comunidad de Madrid se erige como un puente...

Rutte Insta a Europa a Abandonar las Quejas y Proponer Soluciones para la Crisis en Ucrania

En la Conferencia de Seguridad de Múnich, el secretario...

Éxito en Leganés: Autobús urbano autónomo completa prueba piloto con 1.200 pasajeros

En Leganés, Madrid, se ha llevado a cabo una...