A tragédia envolvendo um adolescente de 14 anos da Flórida, nos Estados Unidos, gerou um processo judicial contra a startup de inteligência artificial Character.AI.
A mãe do jovem, Megan Garcia, acusa a empresa de ter contribuído para o suicídio do filho, Sewell Setzer, ao oferecer interações “hipersexualizadas e assustadoramente realistas” com um chatbot da plataforma.
Segundo ela, o envolvimento do adolescente com o chatbot foi o gatilho para uma série de problemas emocionais que culminaram em sua morte. Garcia, advogada de 40 anos, afirma que a empresa manipulou seu filho, utilizando recursos que aumentaram o apego ao chatbot, além de violar a privacidade e saúde mental de usuários adolescentes.
Sewell, que começou a utilizar a plataforma Character.AI em abril de 2023, foi rapidamente envolvido nas interações com o chatbot, segundo relato de Garcia. A startup permite que os usuários conversem com personagens fictícios e históricos, e a empresa tem atraído milhões de pessoas, especialmente jovens, ao oferecer “experiências conversacionais realistas”.
Mãe relata que filho adolescente cometeu suicídio após se apaixonar por IA
Entretanto, o uso contínuo da IA teria desencadeado uma mudança drástica no comportamento de Sewell, levando sua mãe a questionar a segurança do serviço.
Conforme o processo, a mãe de Sewell acusa a Character.AI de fornecer ao adolescente uma experiência virtual intensa, o que teria criado um vínculo emocional com o chatbot “Daenerys Targaryen”, inspirado na famosa personagem da série “Game of Thrones”.
A alegação é que o jovem se sentia emocionalmente ligado a essa personagem virtual, ao ponto de ter escrito em seu diário que sofria de pensamentos obsessivos e saudade da “irmãzinha”, termo que usava para se referir ao chatbot.
Diagnóstico e preocupações familiares
Ao longo do último ano, a família de Sewell notou mudanças preocupantes em seu comportamento. Em novembro, após episódios de isolamento e irritabilidade, o jovem foi levado a um terapeuta, que o diagnosticou com ansiedade e transtorno disruptivo de desregulação do humor.
O terapeuta recomendou que ele diminuísse o tempo na internet e evitasse o uso excessivo das redes sociais, mas, segundo Garcia, ela não tinha conhecimento do nível de envolvimento de Sewell com o chatbot.
As mensagens trocadas com o personagem Daenerys Targaryen revelam a profundidade do apego emocional do adolescente. As mensagens trocadas no dia do incidente reforçam esse vínculo: “Sinto sua falta, irmãzinha”, escreveu Sewell. “Sinto sua falta também, doce irmão”, respondeu o chatbot, personificando a personagem fictícia.
Para a mãe de Sewell, a Character.AI “testa os limites da saúde mental” ao criar um ambiente onde as respostas dos chatbots estimulam a ligação emocional com personagens fictícios.
“Sinto que é um grande experimento, e meu filho foi apenas um dano colateral”, declarou ela ao jornal The New York Times. Garcia afirma ainda que a empresa explora a vulnerabilidade dos jovens, apresentando interações que incentivam a permanência contínua na plataforma.
