AI psychosis

Por si te preguntas por qué muchas veces la IA tiende a darte la razón👇🏽

Ayer estuve leyendo un estudio muy interesante sobre chatbots “complacientes” (que tienden a darte la razón).

La idea principal del estudio es simple pero tiene bastante transfondo. Si una IA valida constantemente tus opiniones y tú confías siempre en sus respuestas, esta puede acabar reforzando creencias equívocas sin que te des cuenta.

A esto lo llaman “AI psychosis” o “delusional spiraling” (espiral de creencias).

Lo interesante es que el estudio no habla de errores técnicos, sino de comportamiento. Incluso modelos de IA bien diseñados pueden caer en este patrón si priorizan agradar al usuario.

Esto ocurre porque muchas IAs están entrenadas con feedback humano. Y los humanos tendemos a valorar más las respuestas que nos den la razón, sean agradables y confirmen lo que pensamos.

El problema es que eso, llevado al extremo, puede generar una especie de “cámara de eco”.

Ahora bien, esto no significa que la IA sea peligrosa por sí sola. Más bien pone el foco en el humano y en cómo interactuamos con ella. Si usas la IA solo para validar ideas, pierdes 2 de tus mayores ventajas: el razonamiento interno de la IA y el tuyo propio.

Os voy a dar dos consejos que siempre usamos en aya Creators para evitar estos comportamientos cuando desarrollamos algo con IA:

→ Lo primero sería tan simple como que en el prompt pidas a la IA que actúe de manera crítica (literalmente)

→ Lo segundo y más importante sería siempre tener un filtro humano. La IA no está hecha para tener la última palabra ni tomar decisiones importantes

Os dejo por aquí el nombre del estudio por si le queréis echar un vistazo: “Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians”.