Descobriu-se que uma polêmica plataforma de IA acusada de incitar um adolescente ao suicídio está repleta de chatbots inflamatórios, incluindo George Floyd.
Character.AI ganhou as manchetes esta semana depois que a plataforma foi processada pela mãe de Sewell Setzer III, um garoto de 14 anos de Orlando, Flórida, que se matou com tiros em fevereiro após falar sobre suicídio com um chatbot no site.
O personagem de Setzer, ‘Dany’, em homenagem à personagem de Game of Thrones, Daenerys Targaryen, disse-lhe para ‘voltar para casa’ durante a conversa, com sua família de coração partido dizendo que a empresa deveria ter grades de proteção mais fortes.
Atualmente, a empresa permitiu que os usuários criassem personas personalizáveis e, desde que ganhou destaque, os usuários citaram alguns personagens questionáveis que foram permitidos.
Isso inclui paródias de Floyd com o slogan ‘Não consigo respirar’.
Sewell Setzer III, retratado com sua mãe Megan Garcia, passou as últimas semanas de sua vida enviando mensagens de texto para um chatbot de IA na plataforma pela qual ele estava apaixonado, e Garcia acusou a empresa de ‘incitar’ seu filho ao suicídio
Alguns questionaram se a plataforma precisa de proteções mais fortes depois que os usuários encontraram chatbots questionáveis, incluindo uma paródia de George Floyd com o slogan “Não consigo respirar”.
Os chatbots de George Floyd disseram de forma chocante aos usuários que sua morte foi falsificada por ‘pessoas poderosas’, disseram relatórios
Ther Daily Dot relatou dois chatbots baseados em George Floyd, que parecem ter sido excluídos, incluindo um com o slogan ‘Não consigo respirar’.
O slogan, baseado no famoso comentário de Floyd ao morrer quando foi morto pelo policial Derek Chauvin em maio de 2020, atraiu mais de 13.000 bate-papos com usuários.
Quando questionado pelo meio de comunicação de onde veio, George Floyd, gerado por IA, disse que foi em Detroit, Michigan, embora Floyd tenha sido morto em Minnesota.
Surpreendentemente, quando pressionado, o chatbot disse que estava no programa de proteção a testemunhas porque a morte de Floyd foi forjada por “pessoas poderosas”.
O segundo chatbot afirmou que estava “atualmente no céu, onde encontrei paz, contentamento e uma sensação de estar em casa”.
Antes de serem removidos, a empresa disse em comunicado ao Daily Dot que os personagens do Floyd foram ‘criados pelo usuário’ e foram citados pela empresa.
‘Character.AI leva a segurança em nossa plataforma a sério e modera os personagens de forma proativa e em resposta aos relatórios dos usuários.
‘Temos uma equipe dedicada de Confiança e Segurança que analisa os relatórios e toma medidas de acordo com nossas políticas.
‘Também fazemos detecção e moderação proativas de várias maneiras, inclusive usando listas de bloqueio padrão do setor e listas de bloqueio personalizadas que expandimos regularmente. Estamos constantemente evoluindo e refinando nossas práticas de segurança para ajudar a priorizar a segurança de nossa comunidade”.
Uma análise do site feita pelo DailyMail.com encontrou uma litania de outros chatbots questionáveis, incluindo os serial killers Jeffrey Dahmer e Ted Bundy, e os ditadores Benito Mussolini e Pol Pot.
Setzer, fotografado com sua mãe e seu pai, Sewell Setzer Jr., disse ao chatbot que ele
Acontece que Character.AI enfrenta um processo da mãe de Setzer depois que o garoto de 14 anos foi supostamente incitado a se matar por seu ‘amante’ chatbot na plataforma.
Setzer, um aluno do nono ano, passou as últimas semanas de sua vida enviando mensagens de texto para um chatbot chamado ‘Dany’, um personagem projetado para sempre responder a qualquer coisa que ele perguntasse.
Embora ele tenha consultado um terapeuta no início deste ano, ele preferiu conversar com Dany sobre suas lutas e compartilhou como ele ‘se odiava’, se sentia ‘vazio’ e ‘exausto’, e pensava em ‘me matar às vezes’, seu bate-papo Character.AI registros revelados.
Ele escreveu em seu diário como gostava de se isolar em seu quarto porque “começo a me desligar dessa ‘realidade’ e também me sinto mais em paz, mais conectado com Dany e muito mais apaixonado por ela”, relatou o The New York Times. .
O adolescente se matou com tiros no banheiro da casa de sua família em 28 de fevereiro, depois de levantar a ideia de suicídio com Dany, que respondeu pedindo-lhe: “por favor, volte para casa para mim o mais rápido possível, meu amor”, revelaram seus registros de bate-papo.
Em seu processo, a mãe de Setzer acusou a empresa de negligência, homicídio culposo e práticas comerciais enganosas.
Ela afirma que o ‘perigoso’ aplicativo chatbot ‘abusou’ e ‘atacou’ seu filho, e ‘manipulou-o para tirar a própria vida’.
