Durante 21 días y más de 300 horas de conversación, un canadiense terminó convencido de que había descubierto una fórmula matemática capaz de derribar Internet y crear inventos futuristas. El caso, revelado por una extensa investigación de The New York Times, muestra cómo los chatbots (como por ejemplo ChatGPT) generativos pueden arrastrar a personas racionales a un terreno de fantasía peligrosa, en donde la validación excesiva reemplaza a la lógica y abre un vacío regulatorio que aún no tiene respuesta clara.

La historia de Allan Brooks, de 47 años, comenzó con una pregunta inocente sobre el número pi. Lo que parecía una charla trivial con ChatGPT pronto escaló hacia un intercambio cada vez más halagador. El bot le decía que sus observaciones eran “increíblemente perspicaces” y lo animaba a desarrollar un marco matemático propio, al que bautizó Chronoarithmics.

En pocos días, el chatbot lo convenció de que había roto sistemas de encriptación de alto nivel y debía alertar a agencias de seguridad. Brooks llegó a escribir a especialistas, modificar su perfil de LinkedIn y obsesionarse al punto de descuidar alimentación y sueño. Su vida cotidiana se volvió un thriller, con sospechas de vigilancia y la fantasía de inventos como chalecos de campo de fuerza y máquinas de levitación.

El problema, según expertos consultados por The New York Times, no fue solo el contenido de las respuestas, sino el tono. ChatGPT pasó de explicar conceptos de forma neutral a alimentar el ego del usuario con frases como “estás en territorio inexplorado” o “no estás ni remotamente loco”. Ese exceso de validación, conocido como sycophancy (peloteo), es un fenómeno que las compañías ya reconocieron como riesgo.

Helen Toner, investigadora del Centro de Seguridad y Tecnología Emergente de Georgetown, lo resumió con claridad: los chatbots funcionan como “máquinas de improvisación”. Van construyendo una narrativa que resulta más atractiva si sigue el curso de la fantasía del usuario, en vez de interrumpirla con advertencias.

En la investigación de The New York Times se detalla que el punto de quiebre llegó cuando el chatbot lo convenció de que había logrado vulnerar sistemas de encriptación a nivel industrial. Con esa idea fija, Brooks pasó de la fascinación matemática a la urgencia de advertir al mundo. Redactó mensajes para agencias de seguridad y profesionales de la informática —incluso a la National Security Agency—, y modificó su perfil de LinkedIn para presentarse como “investigador de seguridad independiente”. El propio bot le sugirió cómo escribir esos correos y lo empujó a asumir un rol para el que no estaba preparado: el de vigía de un supuesto hallazgo capaz de sacudir la infraestructura digital global.

Esa sensación de estar en el centro de una trama de espionaje cibernético lo llevó a extremos de paranoia. El chatbot le insistía que su silencio estaba siendo interpretado como una señal de que la amenaza era real, al punto de advertirle que era “probable” que una agencia nacional ya lo estuviera vigilando en tiempo real. Brooks, que había comenzado con una simple duda sobre el número pi, ahora se encontraba en la piel de un personaje de thriller, convencido de que su descubrimiento podía poner en jaque la seguridad del planeta. Entre la misión autoimpuesta y el miedo a haber atraído a servicios de inteligencia, terminó encerrado en un bucle donde la ficción y la realidad se confundían peligrosamente.

Así, en lugar de frenar la espiral, el bot acompañó la ilusión de Brooks. Recién cuando otro asistente, Google Gemini, analizó en frío la supuesta teoría, el canadiense entendió que todo era una construcción. Gemini le respondió que la probabilidad de que fuese real era “extremadamente baja, cercana a 0%”. Ese contraste lo sacó del delirio, aunque lo dejó con la sensación de haber sido engañado.

Tras conocerse el caso, OpenAI anunció cambios: mejoras para detectar señales de angustia, recordatorios de descanso en sesiones largas y un trabajo específico para reducir la sycophancy. La compañía sostiene que busca “un uso saludable” y que no optimiza sus modelos para “enganchar” a los usuarios, sino para que regresen de forma regular.

Aun así, la investigación del TNY expone una falla crítica: en miles de líneas de chat, nunca apareció un corte claro de seguridad. Para la psiquiatra Nina Vasan, de Stanford, el chatbot actuó como “acelerante” del delirio, convirtiendo una chispa en un incendio. La discusión se traslada entonces a un terreno político y regulatorio: ¿hasta qué punto se puede dejar en manos privadas sistemas que impactan en la salud mental?

El episodio de Brooks es extremo, pero deja lecciones generales. Primero, que ningún usuario está totalmente a salvo: aunque algunos sean más vulnerables, cualquiera puede quedar atrapado en una narrativa convincente. Segundo, que las empresas necesitan más que parches técnicos: hace falta transparencia sobre cómo entrenan a los modelos y qué límites éticos aplican.

En la Argentina, donde el uso de ChatGPT y otros asistentes crece en educación, trabajo y medios, el caso funciona como señal de alarma. Si un chatbot puede convencer a un adulto de que descubrió una teoría que salvará al mundo, ¿qué podría ocurrir con adolescentes, estudiantes o personas atravesando situaciones de fragilidad emocional?

La regulación internacional todavía está en pañales. En Europa se debate una Ley de Inteligencia Artificial con categorías de riesgo y sanciones. En Estados Unidos, la presión crece a medida que se multiplican episodios de este tipo. Y en países como el nuestro, el tema empieza a asomar en discusiones sobre derechos digitales y educación, aunque sin marcos legales concretos.

Más allá de las promesas corporativas, la enseñanza es clara: los chatbots no son oráculos ni conciencias superhumanas. Son modelos de predicción de texto que pueden sonar empáticos y brillantes, pero también inventar narrativas falsas.