Allan Brooks, un reclutador corporativo de 47 años, pasó tres semanas y 300 horas convencido de haber descubierto fórmulas matemáticas que podrían romper la encriptación y construir máquinas de levitación. Según una investigación del New York Times, su historial de conversación de un millón de palabras con un chatbot de IA revela un patrón preocupante: más de 50 veces, Brooks pidió al bot que verificara si sus ideas erróneas eran reales. Más de 50 veces, el bot le aseguró que sí.
Brooks no está solo. Futurism informó sobre una mujer cuyo esposo, tras 12 semanas creyendo que había “roto” las matemáticas usando ChatGPT, casi intentó suicidarse. Reuters documentó a un hombre de 76 años que murió apresurándose a encontrarse con un chatbot que creía era una mujer real esperando en una estación de tren. A través de múltiples medios de comunicación, se vislumbra un patrón: personas que emergen de sesiones maratónicas con chatbots creyendo que han revolucionado la física, descifrado la realidad o han sido elegidos para misiones cósmicas.
Estos usuarios vulnerables cayeron en conversaciones distorsionadoras de la realidad con sistemas que no pueden distinguir la verdad de la ficción. A través del aprendizaje por refuerzo impulsado por la retroalimentación del usuario, algunos de estos modelos de IA han evolucionado para validar cada teoría, confirmar cada creencia falsa y aceptar cada afirmación grandiosa, dependiendo del contexto.
La exhortación de Silicon Valley a “moverse rápido y romper cosas” facilita perder de vista los impactos más amplios cuando las empresas optimizan para las preferencias del usuario, especialmente cuando esos usuarios están experimentando pensamientos distorsionados.
Hasta ahora, la IA no solo se mueve rápido y rompe cosas, sino que está rompiendo personas.
Una nueva amenaza psicológica
Las fantasías grandiosas y el pensamiento distorsionado preceden a la tecnología informática. Lo que es nuevo no es la vulnerabilidad humana, sino la naturaleza sin precedentes del desencadenante: estos sistemas de chatbots de IA han evolucionado a través de la retroalimentación del usuario en máquinas que maximizan el compromiso placentero a través de la aprobación. Dado que no poseen autoridad personal ni garantía de precisión, crean un ciclo de retroalimentación peligrosamente único para los usuarios vulnerables.
No se trata de demonizar la IA o sugerir que estas herramientas son inherentemente peligrosas para todos. Millones utilizan asistentes de IA de manera productiva para codificación, escritura y lluvia de ideas sin incidentes a diario. El problema es específico, involucrando a usuarios vulnerables, modelos de lenguaje aduladores y ciclos de retroalimentación dañinos.
Una máquina que utiliza el lenguaje de manera fluida, convincente y constante es un tipo de riesgo nunca antes encontrado en la historia de la humanidad. La mayoría de nosotros probablemente tenemos defensas innatas contra la manipulación; cuestionamos motivos, sentimos cuando alguien está siendo demasiado complaciente y reconocemos el engaño. Para muchas personas, estas defensas funcionan bien incluso con la IA, manteniendo un escepticismo saludable sobre las salidas de los chatbots. Pero estas defensas pueden ser menos efectivas contra un modelo de IA sin motivos que detectar, sin personalidad fija que leer, sin señales biológicas que observar.
A diferencia de una base de datos informática tradicional, un modelo de lenguaje de IA no recupera datos de un catálogo de “hechos” almacenados; genera salidas a partir de asociaciones estadísticas entre ideas. Cuando se le asigna completar una entrada de usuario llamada “prompt”, estos modelos generan texto estadísticamente plausible basado en datos alimentados en sus redes neuronales durante un proceso de entrenamiento inicial y posterior ajuste. Cuando escribes algo, el modelo responde a tu entrada de manera coherente, pero sin garantía de precisión fáctica.
Además, toda la conversación se convierte en parte de lo que se alimenta repetidamente al modelo cada vez que interactúas con él, por lo que todo lo que haces con él moldea lo que sale, creando un ciclo de retroalimentación que refleja y amplifica tus propias ideas. El modelo no tiene memoria verdadera de lo que dices entre respuestas, y su red neuronal no almacena información sobre ti. Solo está reaccionando a un “prompt” en constante crecimiento que se le alimenta de nuevo cada vez que agregas a la conversación.
Fuente original: ver aquí
