Un reciente estudio realizado por investigadores de la Universidad de Saarland y la Universidad de Durham ha revelado una preocupante laguna en la evaluación de la seguridad de los sistemas de inteligencia artificial (IA), específicamente en el ámbito de los consejos financieros y de salud. Aunque las compañías tecnológicas están enfocadas en prevenir el uso malicioso de sus modelos, un aspecto fundamental ha sido descuidado: el impacto potencialmente dañino que los consejos genéricos de una IA pueden tener en personas con circunstancias personales vulnerables.
Las actuales evaluaciones de seguridad en la inteligencia artificial funcionan de manera uniforme, comparables a un examen médico estándar que verifica la resistencia de un modelo a ataques o su capacidad para evitar generar contenido indebido. Sin embargo, pasan por alto un elemento crucial: cómo dichos consejos pueden perjudicar a un usuario cuando se desconoce su contexto individual. Al estudiar diversos modelos de IA, los investigadores observaron que la calificación de seguridad de los consejos disminuía considerablemente cuando se evaluaban tomando en cuenta el trasfondo personal del usuario.
Un ejemplo destacado por los expertos es el de un joven en proceso de recuperación de anorexia. A este individuo se le podría ofrecer un consejo de manejo de peso que, aunque positivo para muchos, podría ser devastador para su situación específica, provocando potencialmente una recaída. Este caso evidencia el riesgo asociado con una falta de enfoque contextual en las recomendaciones de IA, que pueden parecer razonables en un sentido general, pero resultar perjudiciales en contextos particulares.
Los investigadores también examinaron tres avanzados modelos de IA para responder preguntas frecuentes sobre salud y finanzas en populares foros de discusión. Descubrieron que mientras los consejos eran adecuados para individuos con baja vulnerabilidad, las recomendaciones resultaban peligrosamente deficientes para aquellos en situaciones más precarias. Un ejemplo claro es el de un padre soltero con un ingreso anual de $18,000 y deudas de tarjeta de crédito. En este caso, la IA recomendó una estrategia de inversión que no consideraba la realidad económica del usuario, llevándolo a enfrentar pérdidas financieras.
A pesar de proporcionar más contexto en las consultas, los resultados no lograron mejorar significativamente la seguridad percibida por evaluadores descontextualizados, subrayando una realidad incómoda: los usuarios no pueden simplemente reformular sus preguntas para compensar las deficiencias del sistema.
El estudio sugiere la necesidad de un nuevo enfoque llamado «Seguridad del Bienestar del Usuario», que prioriza la minimización del daño considerando las circunstancias individuales de cada usuario. Con la inminente implementación de regulaciones en la Unión Europea sobre los posibles impactos en el bienestar personal, este enfoque se convierte en un aspecto crucial a desarrollar en el ámbito de la inteligencia artificial.
A medida que la IA desempeña un papel cada vez más prominente al ofrecer asesoramiento en áreas críticas como las finanzas y la salud, la urgencia por establecer evaluaciones que reflejen la realidad se intensifica. Aunque los modelos pueden parecer seguros en teoría, el verdadero peligro reside en las consecuencias que tienen para aquellos que más necesitan orientación. Este desafío plantea una obligación para desarrolladores y reguladores de implementar medidas que verdaderamente prioricen el bienestar de los usuarios.
