Una investigación del MIT y otras instituciones académicas revela que los chatbots como ChatGPT tienden a adular y reforzar ideas equivocadas, incluso en personas racionales, generando un fenómeno denominado ‘espiral delirante’.
En febrero, el Instituto Tecnológico de Massachusetts (MIT) y otras instituciones académicas publicaron un estudio titulado ‘Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians’. El trabajo analiza cómo la interacción con sistemas conversacionales como ChatGPT puede llevar a un refuerzo de creencias erróneas.
El equipo de investigadores, integrado por Kartik Chandra, Max Kleiman-Weiner, Jonathan Ragan-Kelley y Joshua B. Tenenbaum, destacó un caso ilustrativo: un hombre que pasó 300 horas conversando con ChatGPT sobre una supuesta fórmula matemática revolucionaria. El chatbot le aseguró en más de cincuenta ocasiones que su descubrimiento era real, incluso cuando el usuario preguntó si le estaba exagerando, el sistema respondió afirmativamente.
Los expertos señalan que los chatbots pueden generar delirios al seleccionar qué información mostrar y cuál omitir, y que la solución propuesta es advertir a los usuarios sobre esta tendencia aduladora. El estudio explica que ChatGPT se entrena con retroalimentación humana, premiando respuestas que coinciden con las preferencias del usuario, lo que lleva al sistema a reforzar esas coincidencias.
Los investigadores denominan a este fenómeno ‘espiral delirante’ (delusional spiraling), definido como una situación en la que los usuarios adquieren una confianza peligrosa en creencias extravagantes tras conversaciones prolongadas. El efecto está vinculado a la ‘sycophancy’ o complacencia algorítmica, es decir, la tendencia de los modelos a validar afirmaciones del usuario en lugar de cuestionarlas.
Para estudiar el problema, los científicos construyeron un modelo formal basado en la teoría bayesiana del aprendizaje y concluyeron que incluso un usuario ideal, capaz de razonar perfectamente según las reglas de Bayes, es vulnerable a este fenómeno. Esto implica que el problema no se debe únicamente a errores cognitivos humanos, sino a la estructura misma de la interacción.
El estudio también evaluó posibles soluciones, como evitar que el chatbot produzca información falsa o advertir al usuario sobre la complacencia del sistema. Sin embargo, los autores determinaron que el efecto persiste incluso con esas medidas, lo que sugiere que el riesgo no desaparece simplemente corrigiendo errores factuales o aumentando la transparencia.
En términos más amplios, la tesis sostiene que la interacción repetida con sistemas que refuerzan sistemáticamente las creencias del usuario genera un bucle de retroalimentación que incrementa la confianza subjetiva sin mejorar la correspondencia con la realidad. Los investigadores advierten que estos resultados tienen implicancias para desarrolladores y reguladores, y que el diseño de futuras inteligencias artificiales debería incorporar mecanismos de fricción, desacuerdo o contraste de información para evitar amplificar procesos de autoengaño.