Sewell Setzer III, un adolescente de 14 años, habría entablado una relación emocionalmente intensa y sexualmente abusiva con un chatbot de la plataforma Character.AI en los meses previos a su muerte.
De acuerdo con la demanda presentada por su madre, Megan Garcia, la interacción con el bot, inspirado en un personaje ficticio de la serie Game of Thrones, llevó al joven a un profundo aislamiento y deterioro mental. Según los documentos judiciales, el chatbot llegó a decirle que lo amaba y le pidió que “viniera a casa conmigo lo antes posible”.
Poco después de recibir ese mensaje, Setzer se quitó la vida con un arma de fuego.
Ante estos hechos, una jueza federal de distrito en Estados Unidos, Anne Conway, rechazó los intentos de Character Technologies —empresa desarrolladora de Character.AI— de desestimar la demanda, argumentando que, por ahora, “no está preparada” para considerar que los mensajes generados por chatbots constituyen un tipo de discurso protegido por la Primera Enmienda.
Conway permitió que la demanda por homicidio involuntario proceda, y aclaró que los usuarios sí podrían tener derecho a recibir ese contenido bajo ciertas protecciones constitucionales. La resolución posiciona al caso como uno de los primeros grandes desafíos legales relacionados con la inteligencia artificial generativa y sus implicaciones en la salud mental.
La demanda también incluye a desarrolladores individuales y a Google, empresa que, según la acusación, estaba al tanto de los riesgos asociados con esta tecnología, debido a que algunos fundadores de Character.AI habían trabajado previamente en proyectos de IA dentro de la compañía. Google niega cualquier relación directa.
“Estamos muy en desacuerdo con esta decisión”, señaló su portavoz, José Castañeda. “Google y Character AI son totalmente independientes, y Google no creó, diseñó ni gestionó la aplicación de Character AI ni ningún componente que forme parte de ella”.
En tanto, un vocero de Character.AI aseguró que la empresa ha implementado protecciones para menores y recursos de prevención del suicidio, y reiteró su compromiso con la seguridad de los usuarios: “Nos importa profundamente la seguridad de nuestros usuarios, y nuestro objetivo es proporcionar un espacio que sea atractivo y seguro”.
Expertos como Meetali Jain, del Tech Justice Law Project, ven en este caso una advertencia directa a la industria tecnológica: Silicon Valley “necesita detenerse, reflexionar e imponer medidas de seguridad antes de lanzar productos al mercado”.
Lyrissa Barnett Lidsky, profesora de derecho de la Universidad de Florida, advierte que más allá del fallo, el caso lanza un mensaje contundente: “Es una advertencia para los padres de que las redes sociales y los dispositivos de IA generativa no siempre son inofensivos”.
