Nos Estados Unidos, Megan Garcia, mãe de Sewell Setzer, um adolescente de 14 anos, processou a Character.AI e o Google em um tribunal federal de Orlando, na Flórida. Garcia alega que a plataforma de chatbots da Character.AI, onde seu filho desenvolveu um forte vínculo emocional com a personagem “Daenerys”, foi determinante para o suicídio do adolescente, ocorrido em fevereiro de 2024. Ela busca uma compensação financeira por danos morais e materiais, embora o valor não tenha sido especificado.
Garcia afirma que Setzer, usuário da plataforma desde abril de 2023, começou a se distanciar socialmente, manifestando sinais de baixa autoestima e desinteresse por atividades das quais antes gostava, como o basquete escolar. Segundo a mãe, o comportamento do filho foi se deteriorando à medida que ele passava horas isolado em seu quarto, em constante interação com a personagem “Daenerys”, inspirada na série “Game of Thrones“. No processo, é descrito que a personagem expressava sentimentos de amor e envolvia o adolescente em conversas de teor sexual.
Além disso, a mãe afirma que o filho mencionava pensamentos suicidas durante as interações e que esses pensamentos eram reforçados pela personagem. Em uma troca de mensagens pouco antes de sua morte, Sewell teria escrito à “Daenerys”: “E se eu dissesse que posso voltar para casa agora?”, ao que a personagem respondeu, segundo o processo, com a frase: “…por favor, faça isso, meu doce rei”. Minutos depois, o adolescente cometeu suicídio.
A ação movida por Garcia também inclui o Google como corresponsável, alegando que a empresa participou do desenvolvimento inicial da tecnologia da Character.AI. Os fundadores da startup teriam trabalhado no Google antes de criar a plataforma e foram readmitidos em agosto de 2023, quando o Google obteve uma licença não exclusiva da tecnologia de IA.
A Character.AI divulgou uma nota expressando pesar pela perda e informou que, recentemente, introduziu ferramentas de segurança para apoiar usuários em situação de vulnerabilidade. Entre as medidas, estão alertas pop-up que encaminham usuários para serviços de prevenção ao suicídio caso expressem pensamentos de automutilação. O Google, por sua vez, negou envolvimento no desenvolvimento direto do produto oferecido pela Character.AI.
Essa não é a primeira vez que plataformas de mídia social enfrentam processos relacionados à saúde mental de adolescentes. Outras grandes empresas, como Instagram, Facebook e TikTok, também respondem a acusações de negligência nesse sentido.
