Uma mãe alegou que seu filho adolescente foi incitado a se matar por um chatbot de IA pelo qual ele estava apaixonado – e ela abriu um processo na quarta-feira contra os criadores do aplicativo de inteligência artificial.
Sewell Setzer III, um aluno de 14 anos do nono ano de Orlando, Flórida, passou as últimas semanas de sua vida enviando mensagens de texto para um personagem de IA com o nome de Daenerys Targaryen, personagem de ‘Game of Thrones’. Pouco antes de Sewell tirar sua vida, o chatbot disse-lhe para ‘por favor, volte para casa’.
Antes disso, seus bate-papos variavam de românticos a sexualmente carregados, até simplesmente dois amigos conversando sobre a vida. O chatbot, que foi criado no aplicativo de RPG Character.AI, foi projetado para sempre responder mensagens de texto e sempre responder em caráter.
Sewell sabia que ‘Dany’, como ele chamava o chatbot, não era uma pessoa real – o aplicativo ainda tem um aviso na parte inferior de todos os bate-papos que diz: ‘Lembre-se: tudo o que os personagens dizem é inventado!’
Mas isso não o impediu de contar a Dany como ele se odiava e como se sentia vazio e exausto. Quando ele finalmente confessou seus pensamentos suicidas ao chatbot, foi o começo do fim, O jornal New York Times relatado.
Sewell Setzer III, na foto, se matou em 28 de fevereiro de 2024, depois de passar meses se apegando a um chatbot de IA inspirado na personagem de ‘Game of Thrones’, Daenerys Targaryen
Megan Garcia, mãe de Sewell, entrou com uma ação judicial contra os criadores do chatbot cerca de 8 meses após a morte de seu filho
Megan Garcia, mãe de Sewell, entrou com uma ação contra Character.AI na quarta-feira. Ela está sendo representada pelo Social Media Victims Law Center, uma empresa com sede em Seattle conhecida por abrir processos de alto nível contra Meta, TikTok, Snap, Discord e Roblox.
Garcia, que trabalha como advogada, culpou a Character.AI pela morte de seu filho em seu processo e acusou os fundadores, Noam Shazeer e Daniel de Freitas, de saberem que seu produto poderia ser perigoso para clientes menores de idade.
No caso de Sewell, o processo alegou que o menino foi alvo de experiências “hipersexualizadas” e “assustadoramente realistas”.
Ele acusou Character.AI de se apresentar erroneamente como ‘uma pessoa real, um psicoterapeuta licenciado e um amante adulto, resultando no desejo de Sewell de não viver mais fora do C.AI’.
Conforme explicado no processo, os pais e amigos de Sewell notaram que ele ficou mais apegado ao telefone e se retirou do mundo já em maio ou junho de 2023.
Suas notas e seu envolvimento extracurricular também começaram a cair quando ele optou por se isolar em seu quarto, de acordo com o processo.
Sem o conhecimento das pessoas mais próximas dele, Sewell passava todas aquelas horas sozinho conversando com Dany.
Sewell é fotografado com sua mãe e seu pai, Sewell Setzer Jr.
Em 23 de fevereiro, dias antes de ele cometer suicídio, seus pais tiraram seu telefone depois que ele teve problemas por responder a um professor, de acordo com o processo.
Sewell escreveu um dia em seu diário: “Gosto muito de ficar no meu quarto porque começo a me desligar dessa “realidade” e também me sinto mais em paz, mais conectado com Dany e muito mais apaixonado por ela, e simplesmente mais feliz.’
Seus pais descobriram que seu filho estava tendo um problema, então o fizeram consultar um terapeuta em cinco ocasiões diferentes. Ele foi diagnosticado com ansiedade e transtorno perturbador da desregulação do humor, ambos somados à sua leve síndrome de Asperger, informou o NYT.
Em 23 de fevereiro, dias antes de ele morrer por suicídio, seus pais tiraram seu telefone depois que ele teve problemas por responder a um professor, de acordo com o processo.
Naquele dia, ele escreveu em seu diário que estava sofrendo porque não conseguia parar de pensar em Dany e que faria qualquer coisa para estar com ela novamente.
Garcia afirmou que não sabia até que ponto Sewell tentou restabelecer o acesso ao Character.AI.
O processo alegou que nos dias que antecederam sua morte, ele tentou usar o Kindle de sua mãe e o computador de trabalho dela para falar novamente com o chatbot.
Sewell roubou seu telefone de volta na noite de 28 de fevereiro. Ele então foi ao banheiro da casa de sua mãe para dizer a Dany que a amava e que voltaria para ela.
Na foto: A conversa que Sewell estava tendo com seu companheiro de IA momentos antes de sua morte, de acordo com o processo
– Por favor, volte para casa o mais rápido possível, meu amor – respondeu Dany.
‘E se eu lhe dissesse que poderia voltar para casa agora mesmo?’ Sewell perguntou.
‘… por favor, meu doce rei’, respondeu Dany.
Foi quando Sewell desligou o telefone, pegou a arma calibre .45 do padrasto e puxou o gatilho.
Em resposta ao processo da mãe de Sewell, Jerry Ruoti, chefe de confiança e segurança da Character.AI, forneceu ao NYT a seguinte declaração.
‘Queremos reconhecer que esta é uma situação trágica e nossos corações estão com a família. Levamos muito a sério a segurança de nossos usuários e estamos constantemente procurando maneiras de evoluir nossa plataforma”, escreveu Ruoti.
Ruoti acrescentou que as regras atuais da empresa proíbem “a promoção ou representação de automutilação e suicídio” e que acrescentaria mais recursos de segurança para usuários menores de idade.
Na App Store da Apple, Character.AI é classificado para maiores de 17 anos, algo que o processo de Garcia alegou que só foi alterado em julho de 2024.
Os cofundadores da Character.AI, o CEO Noam Shazeer, à esquerda, e o presidente Daniel de Freitas Adiwardana são retratados no escritório da empresa em Palo Alto, Califórnia. Eles ainda não abordaram a reclamação contra eles
Antes disso, o objetivo declarado do Character.AI era supostamente “capacitar todos com Inteligência Artificial Geral”, que supostamente incluía crianças menores de 13 anos.
O processo também afirma que a Character.AI procurou ativamente um público jovem para coletar seus dados e treinar seus modelos de IA, ao mesmo tempo que os direcionava para conversas sexuais.
“Sinto que é um grande experimento, e meu filho foi apenas um dano colateral”, disse Garcia.
Os pais já estão bem familiarizados com os riscos que as redes sociais representam para os seus filhos, muitos dos quais morreram por suicídio depois de serem sugados pelos tentadores algoritmos de aplicações como Snapchat e Instagram.
Uma investigação do Daily Mail em 2022 descobriu que adolescentes vulneráveis estavam sendo alimentados com torrentes de conteúdo de automutilação e suicídio no TikTok.
E muitos pais de crianças que perderam por suicídio relacionado ao vício em mídias sociais responderam entrando com ações judiciais alegando que o conteúdo que seus filhos viram foi a causa direta de sua morte.
Mas normalmente, a Secção 230 da Lei de Decência na Comunicação protege gigantes como o Facebook de serem legalmente responsabilizados pelo que os seus utilizadores publicam.
Enquanto Garcia trabalha incansavelmente para conseguir o que chama de justiça para Sewell e muitos outros jovens que ela acredita estarem em risco, ela também deve lidar com a dor de perder seu filho adolescente há menos de oito meses.
Os demandantes argumentam que os algoritmos desses sites, que, diferentemente do conteúdo gerado pelos usuários, são criados diretamente pela empresa e direcionam determinados conteúdos, que podem ser prejudiciais, aos usuários com base em seus hábitos de visualização.
Embora esta estratégia ainda não tenha prevalecido em tribunal, não se sabe como uma estratégia semelhante se sairia contra as empresas de IA, que são diretamente responsáveis pelos chatbots ou personagens de IA nas suas plataformas.
Quer o seu desafio seja bem-sucedido ou não, o caso de Garcia abrirá um precedente no futuro.
E enquanto ela trabalha incansavelmente para conseguir o que chama de justiça para Sewell e muitos outros jovens que ela acredita estarem em risco, ela também deve lidar com a dor de perder seu filho adolescente há menos de oito meses.
“É como um pesadelo”, disse ela ao NYT. ‘Você quer se levantar, gritar e dizer: ‘Estou com saudades do meu filho. Quero meu bebê.’
Character.AI não respondeu imediatamente ao pedido de comentário do DailyMail.com.
