Los asistentes virtuales impulsados por inteligencia artificial (IA) se han convertido en componentes habituales de nuestras vidas, desempeñando roles fundamentales en aplicaciones móviles, servicios de atención al cliente y motores de búsqueda. Sin embargo, un reciente estudio plantea que estos sistemas podrían estar exhibiendo una confianza mayor de la que realmente tienen, lo cual podría resultar problemático.
Investigadores de la Universidad Carnegie Mellon (CMU) han comparado la autoconfianza de humanos y de cuatro grandes modelos de lenguaje —ChatGPT, Bard/Gemini, Sonnet y Haiku— en una serie de tareas que incluyen responder preguntas de cultura general, predecir resultados deportivos y reconocer dibujos al estilo de Pictionary. Tanto los humanos como las máquinas sobrestimaron su rendimiento, pero solo los humanos ajustaron sus expectativas tras completar las tareas.
Trent Cash, primer firmante del estudio publicado en la revista Memory & Cognition, indicó que los humanos tendían a ajustar sus percepciones, aunque de manera ligera. Por el contrario, los modelos de IA no solo fallaron en corregir su sobreconfianza, sino que en ciertos casos aumentaron su seguridad tras errar.
El estudio, que analizó datos recopilados durante dos años utilizando versiones actualizadas de los modelos, evidenció de manera consistente esta sobreconfianza entre diferentes sistemas de IA. Danny Oppenheimer, coautor del trabajo, advierte que la seguridad con la que la IA expresa sus respuestas puede llevar a los usuarios a dar por válidas sus afirmaciones, incluso cuando no lo son. A diferencia de las personas, que emiten señales no verbales ante la incertidumbre, las máquinas no revelan si realmente están seguras de sus conocimientos.
Aunque las tareas abordadas podrían parecer triviales, la investigación subraya un problema de mayor envergadura: la metacognición de la IA, o su potencial para tener conciencia de sus propios procesos mentales. Cuando los modelos tuvieron que afrontar temas más subjetivos o inciertos, su nivel de error creció, pero su confianza permaneció inalterada. En un caso, el modelo Gemini solo identificó correctamente una imagen de cada 20, mientras que estimó haber acertado más de 14.
Entre los modelos analizados, Sonnet fue el menos sobreconfianzudo, mientras que ChatGPT-4 exhibió un rendimiento similar al humano en el juego de identificación de dibujos.
Los investigadores sugieren que, aunque los modelos de IA pueden mejorar a medida que reciben más datos, es aconsejable mantener una actitud escéptica ante sus afirmaciones. Preguntar a estos sistemas por su nivel de confianza puede proporcionar indicios valiosos, especialmente cuando admiten inseguridad.
Conforme estas tecnologías se integran más en la vida cotidiana, será crucial reconocer sus limitaciones, como la falta de introspección y la incapacidad para aprender de los errores, en pos de desarrollar sistemas más fiables y responsables. Cash concluye planteándose si el modo en que los humanos aprenden y reflexionan sobre sus acciones es algo intrínsecamente humano.
