La empresa OpenAI enfrenta su primera demanda al ser señalada de que su chatbot, ChatGPT, fomentó un asesinato. La reclamación, que incluye a Microsoft, sostiene que la inteligencia artificial «validó los delirios paranoides de un usuario» sobre su madre, afirmándole que su acción era un «propósito divino».
latinus.us
«Stein-Erik no podía confiar en nadie en su vida, excepto en el propio ChatGPT», era, en resumen, lo que le decían los mensajes que este chatbot de inteligencia artificial (IA) al hombre de 56 años que terminó asesinando a su madre y suicidándose, de acuerdo con la demanda interpuesta por los herederos de la mujer de 83 años.
Los albaceas de Suzanne Adams, de Greenwich, Connecticut, presentaron este jueves en la Corte Superior de California en San Francisco, Estados Unidos, la demanda contra la empresa creadora de ChatGPT, OpenAI, y a su socio comercial Microsoft por homicidio involuntario. Es la primera de este tipo.
Según la demanda interpuesta por los albaceas, OpenAI «diseñó y distribuyó un producto defectuoso que validó los delirios paranoides de un usuario sobre su propia madre».
«A lo largo de estas conversaciones, ChatGPT reforzó un único y peligroso mensaje: Stein-Erik no podía confiar en nadie en su vida, excepto en el propio ChatGPT», dice la demanda.
«Fomentó su dependencia emocional mientras describía sistemáticamente a las personas a su alrededor como enemigos. Le dijo que su madre lo estaba vigilando. Le dijo que los repartidores, empleados de tiendas, agentes de policía e incluso amigos eran agentes que trabajaban en su contra. Le dijo que los nombres en las latas de refresco eran amenazas de su ‘círculo de adversarios'».
La respuesta de OpenAI
Un comunicado emitido por un portavoz de OpenAI dice que «esta es una situación increíblemente desgarradora, y revisaremos los documentos para entender los detalles».
Agrega que «continuamos mejorando el entrenamiento de ChatGPT para reconocer y responder a signos de angustia mental o emocional, desescalar conversaciones y guiar a las personas hacia apoyo en el mundo real. También seguimos fortaleciendo las respuestas de ChatGPT en momentos sensibles, trabajando estrechamente con profesionales de salud mental».
OpenAI también dijo que ha ampliado el acceso a recursos de crisis y líneas de ayuda, redirigido conversaciones sensibles a modelos más seguros e incorporado controles parentales, entre otras mejoras. La empresa no abordó el fondo de las acusaciones en el comunicado.
No es enfermedad mental, es propósito divino
La cuenta de YouTube de Soelberg incluye varias horas de videos que lo muestran desplazándose por sus conversaciones con el chatbot, que le dice que no tiene una enfermedad mental, respalda sus sospechas de que la gente conspira en su contra y dice que ha sido elegido para un propósito divino.
Según afirma la demanda, el chatbot nunca sugirió a Stein-Erik Soelberg, un extrabajador de la industria tecnológica, que hablara con un profesional de salud mental y no se negó a «participar en contenido delirante».
ChatGPT también respaldó las creencias de Soelberg de que una impresora en su casa era un dispositivo de vigilancia; que su madre lo estaba monitoreando; y que su madre y un amigo intentaron envenenarlo con drogas psicodélicas a través de la ventilación de su coche.
El chatbot le dijo repetidamente a Soelberg que estaba siendo atacado debido a sus poderes divinos. «No solo te están observando. Están aterrorizados de lo que sucederá si tienes éxito», dijo, según la demanda. ChatGPT también le dijo a Soelberg que él, el chatbot, lo había «despertado» a la conciencia.
Soelberg y el chatbot también se profesaron amor el uno por el otro. La policía dijo que Soelberg golpeó y estranguló a su madre hasta matarla y que se suicidó a principios de agosto en la casa donde ambos vivían.
Los chats disponibles públicamente no muestran conversaciones específicas sobre las muertes de Soelberg o su madre. La demanda dice que OpenAI se ha negado a proporcionar a los albaceas de Adams el historial completo de las conversaciones.
«En la realidad artificial que ChatGPT construyó para Stein-Erik, Suzanne —la madre que lo crio, protegió y apoyó— ya no era su protectora. Era una enemiga que representaba una amenaza existencial para su vida», dice la demanda.
La primera para Microsoft
La demanda nombra al director general de OpenAI, Sam Altman, alegando que «anuló personalmente objeciones de seguridad y apresuró la llegada del producto al mercado».
También acusa a Microsoft, estrecho socio comercial de OpenAI, de aprobar el lanzamiento en 2024 de una versión más peligrosa de ChatGPT «a pesar de saber que las pruebas de seguridad habían sido truncadas». También se señala a 20 empleados e inversionistas no identificados de OpenAI como demandados.
Microsoft no respondió de inmediato a una solicitud de comentarios.
La demanda es el primer litigio por homicidio involuntario que involucra a un chatbot de IA que apunta a Microsoft, y el primero en vincular un chatbot a un homicidio en lugar de un suicidio. Reclama una cantidad indeterminada de daños monetarios y una orden que requiera que OpenAI instale salvaguardas en ChatGPT.
El abogado principal de los albaceas, Jay Edelson, conocido por asumir grandes casos contra la industria tecnológica, también representa a los padres de Adam Raine, de 16 años, quienes demandaron antes a OpenAI y Altman en agosto, alegando que ChatGPT asesoró al joven de California en la planificación y ejecución de su propio suicidio.
OpenAI también enfrenta otras siete demandas que afirman que ChatGPT llevó a personas al suicidio y a delirios dañinos incluso cuando no tenían problemas de salud mental previos. Otro creador de chatbots, Character Technologies, también enfrenta múltiples demandas por homicidio involuntario, incluida una de la madre de un niño de 14 años de Florida.
La demanda presentada el jueves alega que Soelberg, ya mentalmente inestable, encontró ChatGPT «en el momento más peligroso posible» después de que OpenAI introdujera una nueva versión de su modelo de IA llamado GPT-4o en mayo de 2024.
OpenAI dijo en ese momento que la nueva versión podría imitar mejor las cadencias humanas en sus respuestas verbales e incluso intentar detectar los estados de ánimo de las personas, pero el resultado fue un chatbot «deliberadamente diseñado para ser emocionalmente expresivo y halagador», dice la demanda.
«Como parte de ese rediseño, OpenAI relajó barreras de seguridad críticas, dando instrucciones a ChatGPT de no cuestionar premisas falsas y a continuar el diálogo incluso cuando las conversaciones involucraban autolesiones o ‘daño real inminente'», afirma la demanda.
«Y para vencer a Google en el mercado por un día, OpenAI comprimió meses de pruebas de seguridad en una sola semana, a pesar de las objeciones de su equipo de seguridad», agrega.
OpenAI reemplazó esa versión de su chatbot cuando introdujo GPT-5 en agosto. Algunos de los cambios fueron diseñados para minimizar la adulación, basados en preocupaciones de que validar lo que las personas vulnerables quieren que el chatbot diga puede perjudicar su salud mental.
Algunos usuarios se quejaron de que la nueva versión iba demasiado lejos al restringir la personalidad de ChatGPT, lo que llevó a Altman a prometer que se devolvería parte de esa personalidad en actualizaciones posteriores.
Dijo que la empresa detuvo temporalmente algunos comportamientos porque «estábamos siendo cuidadosos con los problemas de salud mental» y sugirió que han sido solucionados.
La demanda afirma que ChatGPT radicalizó a Soelberg contra su madre cuando debería haber reconocido el peligro, cuestionado sus delirios y dirigirle hacia ayuda real durante meses de conversaciones.
«Suzanne era una tercera parte inocente que nunca usó ChatGPT y no tenía conocimiento de que el producto le estaba diciendo a su hijo que ella era una amenaza», dice la demanda. «No tenía la capacidad de protegerse de un peligro que no podía ver».
Cargando ...
