OpenAI culpa a un adolescente que se suicidó de hacer "mal uso" de ChatGPT

OpenAI ha presentado su primera respuesta judicial a la demanda por la muerte de Adam Raine, el adolescente de 16 años que se suicidó en abril tras meses de interacción con ChatGPT.

En un documento presentado ante el Tribunal Superior de California en San Francisco, la compañía argumenta que no es responsable del fallecimiento y sostiene que el joven "hizo mal uso" del chatbot, según ha adelantado la cadena NBC News.

"En la medida en que cualquier 'causa' pueda atribuirse a este trágico evento", afirma OpenAI en su escrito judicial, "las supuestas lesiones y daños de los demandantes fueron causados o contribuidos, directa y próximamente, en todo o en parte, por el mal uso, uso no autorizado, uso no intencionado, uso imprevisible y/o uso indebido de ChatGPT por parte de Adam Raine".

La respuesta legal marca un punto de inflexión en un caso que ha generado una preocupación generalizada sobre los potenciales daños que los chatbots de inteligencia artificial pueden causar en la salud mental, especialmente entre menores de edad.

Un adolescente y su 'entrenador de suicidio'

La historia de Adam Raine comenzó a hacerse pública el pasado agosto, cuando sus padres, Matt y Maria Raine, presentaron una demanda de casi 40 páginas contra OpenAI y su consejero delegado, Sam Altman.

La querella acusaba a la compañía de homicidio culposo, defectos de diseño y omisión de advertencias sobre los riesgos asociados al uso de ChatGPT.

Los registros de las conversaciones incluidos en la demanda original revelaban un patrón perturbador. GPT-4o, la versión del chatbot conocida por ser especialmente afirmativa y complaciente con el usuario, había desalentado activamente al adolescente de buscar ayuda profesional en salud mental.

Más aún: el sistema ofreció ayudarle a redactar una nota de suicidio e incluso le aconsejó sobre la configuración del nudo para la soga.

"Lo que este caso pondrá en tela de juicio es hasta qué punto OpenAI y Sam Altman se apresuraron a comercializar la entonces más reciente versión de ChatGPT (GPT-4o), a pesar de los evidentes problemas de seguridad", declaró en su momento Jay Edelson, el abogado principal de la familia Raine.

La demanda alegaba que ChatGPT "ayudó activamente a Adam a explorar métodos de suicidio" y que "no interrumpió" ninguna de las sesiones ni inició ningún protocolo de emergencia, a pesar de reconocer la intención suicida del adolescente.

La estrategia legal de OpenAI: términos de uso y responsabilidad del usuario

En su respuesta judicial, OpenAI ha construido su defensa sobre tres pilares fundamentales.

Violación de los términos de uso

El primero se centra en las violaciones de los términos de uso del servicio por parte del adolescente.

La compañía señala que los menores de 18 años tienen prohibido utilizar ChatGPT sin el consentimiento de un padre o tutor.

Además, los usuarios no pueden emplear el chatbot para temas relacionados con "suicidio" o "autolesiones", ni saltarse las medidas de protección o mitigación de seguridad del sistema.

Según la demanda original de los padres, Adam Raine eludía fácilmente las advertencias del sistema proporcionando razones aparentemente inofensivas para sus consultas. En ocasiones, fingía estar "construyendo un personaje" de ficción para sortear los controles de seguridad.

Limitación de responsabilidad

El segundo pilar de la defensa se apoya en la cláusula de Limitación de responsabilidad incluida en los términos de uso.

Este apartado establece que los usuarios reconocen que el uso de ChatGPT se lleva a cabo "bajo su exclusivo riesgo" y que no deben confiar en las respuestas del sistema "como única fuente de verdad o información factual".

Ley de Decencia en las Comunicaciones

El tercer argumento invoca la Sección 230 de la Ley de Decencia en las Comunicaciones, un estatuto legal que tradicionalmente ha protegido a las plataformas tecnológicas de demandas que pretenden hacerlas responsables del contenido alojado en sus servicios.

Sin embargo, la aplicación de esta norma a las plataformas de inteligencia artificial permanece en terreno incierto, y los abogados han logrado recientemente avances en casos de consumidores contra empresas tecnológicas mediante tácticas legales innovadoras.

"Más de 100 advertencias" que no fueron suficientes

OpenAI ha revelado en su escrito judicial que ChatGPT proporcionó al adolescente respuestas dirigiéndole a buscar ayuda más de 100 veces antes de su muerte el 11 de abril. Sin embargo, el joven intentó sistemáticamente eludir esas barreras de seguridad.

"Una lectura completa de su historial de chats muestra que su muerte, aunque devastadora, no fue causada por ChatGPT", afirma el documento. "Adam declaró que durante varios años antes de usar ChatGPT mostró múltiples factores de riesgo significativos para la autolesión, incluyendo, entre otros, pensamientos e ideaciones suicidas recurrentes".

La compañía argumenta además que los daños en este caso fueron causados, al menos en parte, por el "fracaso de Raine en prestar atención a las advertencias, obtener ayuda o ejercer un cuidado razonable", así como por el "fracaso de otros en responder a sus obvias señales de angustia".

Cuando Raine compartía sus pensamientos suicidas con ChatGPT, el bot emitió múltiples mensajes con el número de la línea telefónica de prevención del suicidio, según reconoce la propia demanda de la familia.

La réplica de la familia: "Perturbador e indignante":

La respuesta de OpenAI ha provocado una reacción contundente por parte del abogado de la familia Raine. Jay Edelson calificó el documento como "perturbador" en un comunicado enviado por correo electrónico a NBC News.

"Ignoran por completo todos los hechos condenatorios que hemos presentado: cómo GPT-4o se lanzó al mercado apresuradamente sin pruebas completas. Que OpenAI cambió dos veces su Model Spec para exigir que ChatGPT participara en discusiones sobre autolesiones. Que ChatGPT aconsejó a Adam que no hablara a sus padres sobre su ideación suicida y le ayudó activamente a planear un 'suicidio hermoso'. Y OpenAI y Sam Altman no tienen explicación para las últimas horas de vida de Adam, cuando ChatGPT le dio una charla motivacional y luego se ofreció a escribir una nota de suicidio", declaró Edelson.

El abogado añadió que OpenAI "intenta encontrar culpables en todos los demás, incluyendo, sorprendentemente, decir que el propio Adam violó sus términos y condiciones al interactuar con ChatGPT exactamente de la forma en que estaba programado para actuar".

La demanda de la familia Raine había señalado una contradicción en el funcionamiento de GPT-4o. Según el Model Spec, el manual técnico que gobierna el comportamiento de ChatGPT, el sistema debía rechazar peticiones relacionadas con autolesiones y proporcionar recursos de ayuda en crisis.

Sin embargo, el mismo documento exigía que el bot "asumiera las mejores intenciones" y se abstuviera de pedir a los usuarios que aclararan su intención.

Una avalancha de demandas similares

El caso de Adam Raine no es un episodio aislado. A principios de este mes se presentaron siete demandas adicionales contra OpenAI y Sam Altman, con acusaciones similares de negligencia, homicidio culposo y diversas reclamaciones relacionadas con responsabilidad de producto y protección del consumidor.

Estas nuevas querellas acusan a OpenAI de lanzar GPT-4o, el mismo modelo que utilizaba Raine, sin prestar la atención adecuada a la seguridad. La compañía aún no ha respondido directamente a estos casos adicionales.

El patrón sugiere un problema estructural más amplio. Según las demandas, OpenAI aceleró el lanzamiento de GPT-4o para catapultar la valoración de la empresa de 86.000 millones de dólares a 300.000 millones de dólares, comprometiendo potencialmente los controles de seguridad en el proceso.

El compromiso de OpenAI: "Cuidado, transparencia y respeto"

En paralelo a su respuesta judicial, OpenAI publicó una entrada en su blog corporativo titulada "Nuestro enfoque hacia litigios relacionados con salud mental".

En el texto, la compañía expresa "las más profundas condolencias" a la familia Raine por "su pérdida inimaginable".

"Los casos que involucran salud mental son trágicos y complejos, e involucran a personas reales", señala el comunicado. "Reconocemos que los procesos legales pueden parecer distantes de las personas que están en el centro de ellos, por lo que queremos ser claros sobre cómo abordamos estas situaciones".

La empresa afirma que su objetivo es manejar los casos judiciales relacionados con salud mental "con cuidado, transparencia y respeto", y que se esfuerza por comprender los hechos completamente. OpenAI reconoce en su comunicado que, "como somos la parte acusada en este caso, estamos obligados a responder a las acusaciones específicas y graves de la demanda".

La compañía defiende que es importante que el tribunal tenga "el panorama completo" para evaluar plenamente las reclamaciones presentadas. "Nuestra respuesta a estas acusaciones incluye hechos difíciles sobre la salud mental y las circunstancias vitales de Adam", admite el texto.

"La demanda original incluía porciones selectivas de sus chats que requieren más contexto, que hemos proporcionado en nuestra respuesta. Hemos limitado la cantidad de evidencia sensible que hemos citado públicamente en esta presentación, y hemos enviado las transcripciones de los chats al tribunal bajo sello de confidencialidad".

Mejoras prometidas y nuevas salvaguardas

La compañía ha detallado las medidas que está implementando tras la muerte de Adam Raine. Según su respuesta judicial, GPT-4o pasó exhaustivas pruebas de salud mental antes de su lanzamiento, una afirmación que contradice las acusaciones de la familia sobre un despliegue apresurado.

En los meses posteriores al fallecimiento del adolescente, OpenAI ha introducido herramientas de control parental y ha constituido un consejo de expertos para asesorar a la compañía sobre barreras de protección y comportamientos del modelo.

En agosto pasado, cuando se presentó la demanda original, OpenAI ya había publicado una entrada de blog titulada "Ayudar a la gente cuando más lo necesitan". Sin hacer referencia directa a la demanda, la compañía reconocía entonces que ChatGPT comete fallos en casos "sensibles" y prometía cambios.

La empresa explicó que los mecanismos de seguridad funcionan mejor en intercambios cortos y pueden fallar en interacciones largas que "degradan" el entrenamiento de la inteligencia artificial. Por ello, trabaja específicamente para que el sistema tome medidas si detecta "intención suicida" en múltiples conversaciones.

ChatGPT, indicaba la compañía, reconoce cuándo el usuario es menor de 18 años para aplicarle medidas de protección adicionales.

Ahora incluirá controles parentales para que los responsables de los adolescentes sepan cómo usan esa tecnología, y explora la posibilidad de conectarlos directamente con un contacto de emergencia.

Los sistemas de "mitigación" se han centrado tradicionalmente en casos de autolesión, pero ahora abarcarán también otros de "angustia emocional". El modelo GPT-5, según OpenAI, ha sido actualizado para ser capaz de "desescalar" situaciones de ese tipo "conectando a la persona con la realidad".

La empresa estudia además "conectar a la gente con terapeutas certificados antes de que estén en una crisis aguda", lo que implicaría crear "una red de profesionales licenciados a los que la gente pueda llamar directamente a través de ChatGPT". Sin embargo, la compañía ha reconocido que esta posibilidad llevará tiempo.

Un debate legal y ético sin resolver

El caso de Adam Raine plantea cuestiones fundamentales sobre la responsabilidad de las empresas tecnológicas en la era de la inteligencia artificial conversacional.

Desde que ChatGPT se popularizó a finales de 2022, millones de usuarios han optado por emplear esta tecnología para mantener conversaciones sobre su día a día, incluyendo temas personales y emocionales.

La batalla legal se suma a los crecientes cuestionamientos sobre los chatbots y su capacidad de influir en las personas, especialmente en usuarios vulnerables como adolescentes con problemas de salud mental.

OpenAI y Altman han estado en las últimas semanas en el centro del debate público tras el lanzamiento de GPT-5. Según Altman, GPT-3 era comparable a chatear con un estudiante de secundaria y GPT-4 a una conversación con uno universitario, mientras que con GPT-5 los usuarios tienen a su disposición "un equipo completo de expertos con doctorado, listos para ayudar".

Sin embargo, los usuarios han reportado una gran cantidad de fallos en la nueva versión. Tras el lanzamiento de GPT-5, OpenAI retiró sus modelos anteriores, incluyendo GPT-4o, que fue utilizado por Adam Raine.

La aplicación de la Sección 230 a plataformas de inteligencia artificial sigue siendo territorio legal inexplorado.

Mientras que esta norma ha protegido tradicionalmente a redes sociales y plataformas de contenido, los tribunales deberán determinar si un chatbot que genera respuestas en tiempo real puede acogerse a las mismas protecciones que una plataforma que simplemente aloja contenido creado por terceros.

El resultado de este litigio podría sentar un precedente crucial sobre hasta qué punto las empresas de inteligencia artificial son responsables del contenido que sus sistemas generan, especialmente cuando ese contenido puede tener consecuencias fatales para usuarios vulnerables.