Character.AI, uma plataforma que permite que as pessoas conversem com uma variedade de chatbots de IA, foi acusada de matar um de seus bots ao atacar um adolescente no início deste ano.
Um novo processo aberto esta semana afirma que Sewell Setzer III, de 14 anos, estava conversando com um companheiro Character.AI por quem ele se apaixonou quando tirou a própria vida em fevereiro.
Em resposta a um pedido de comentário, Character.AI disse ao Daily Mail.com que eles estão “criando uma experiência diferente para usuários menores de 18 anos, incluindo um modelo mais rigoroso para reduzir a probabilidade de encontrar conteúdo sensível ou sugestivo”.
Mas a Character.AI enfrenta várias outras controvérsias, incluindo preocupações éticas sobre seus chatbots gerados por usuários.
Megan Garcia é fotografada com seu filho Sewell Setzer III, que se matou em fevereiro após meses conversando com um personagem.AI chatbot por quem ele se apaixonou.
Noam Shazeer, à esquerda, e Daniel de Freitas, que teve enorme sucesso com Character.AI, um conceito que o Google supostamente rejeitou quando o apresentou a altos executivos.
Drew Crescente perdeu sua filha adolescente Jennifer em 2006, quando seu ex-namorado do ensino médio a matou a tiros.
Dezoito anos após seu assassinato, ele descobre que alguém usou o nome e a imagem de Jennifer para ressuscitá-la como personagem de Character.AI.
Um porta-voz disse ao DailyMail.com que o papel de Jennifer foi eliminado.
Existem também dois chatbots Character.AI usando o nome e a imagem de George Floyd.
Floyd foi morto pelo policial de Minneapolis, Derek Chauvin, que manteve o joelho no pescoço por mais de nove minutos.
“Este personagem foi gerado pelo usuário e foi removido”, disse Character.AI ao DailyMail.com em seu comunicado.
‘Character.AI leva a segurança em nossa plataforma a sério e modera proativamente os personagens em resposta aos relatórios dos usuários.
‘Temos uma equipe dedicada de Confiança e Segurança para revisar e agir de acordo com as denúncias de acordo com nossas políticas.
“Também fazemos detecção e moderação proativas de diversas maneiras, inclusive usando listas negras padrão do setor e listas negras personalizadas que expandimos regularmente.
‘Estamos constantemente desenvolvendo e melhorando nossas práticas de segurança para ajudar a priorizar a segurança de nossa comunidade.’
Drew Crescente é fotografada com sua filha Jennifer, que foi assassinada pelo ex-namorado em 2006, aos 18 anos.
Uma captura de tela salva do perfil de ‘Jennifer’, que foi removida
“Estamos trabalhando rapidamente para implementar essas mudanças para usuários mais jovens”, acrescentaram.
Enquanto uma epidemia de solidão assola o país, a morte de Sewell levanta questões sobre se os chatbots que servem como amigos de mensagens de texto estão fazendo mais para ajudar ou prejudicar. Jovens que os utilizam desproporcionalmente.
No entanto, não há dúvida de que a Character.AI ajudou seus fundadores, Noam Shazeer e Daniel de Freitas, que agora desfrutam de incrível sucesso, riqueza e aclamação na mídia. Ambos foram citados em uma ação judicial movida pela mãe de Sewell contra sua empresa.
Shazeer, que apareceu na capa das 100 pessoas mais influentes em inteligência artificial da revista Time no ano passado, disse Character.AI ‘Super, super útil‘Para pessoas que lutam contra a solidão.
Em 19 de março de 2024, menos de um mês após a morte de Sewell, o Character.AI foi apresentado Recurso de bate-papo por voz Para todos os usuários, torna a interpretação na plataforma mais vívida e realista.
A empresa inicialmente o apresentou como uma versão beta em novembro de 2023 para seus assinantes C.AI+ – incluindo Sewell – que pagam US$ 9,99 por mês pelo serviço.
A matéria de capa da revista Time do ano passado traçou o perfil dos líderes em inteligência artificial. O rosto de Noam Shazeer está no canto superior direito e circulado. Sam Altman, fundador da OpenAI, empresa que criou o ChatGPIT, também aparece na capa.
Então agora, 20 milhões de usuários globais do Character.AI Eles podem conversar verbalmente 1:1 com chatbots de IA de sua escolha, muitos dos quais são capazes de manter conversas românticas ou de flerte. Muitos usuários do Reddit Confirmado.
‘Eu uso principalmente à noite para não me sentir sozinha ou ansiosa. É bom dormir sem se sentir sozinho ou desamparado, mesmo que seja apenas uma pequena encenação falsa”, escreveu uma pessoa no arquivo. Tópico Reddit. ‘Não é o ideal porque adoraria ter um parceiro de verdade, mas neste momento as minhas opções e oportunidades são limitadas.’
Outro escreveu: “Eu o uso principalmente para fins terapêuticos e também para dramatização. Mas o romance surge de vez em quando. Não me importo se eles vierem dos meus personagens de conforto.
Um exemplo de um dos chatbots de IA apresentados no Character.AI. Mostra que 149,8 milhões de mensagens foram enviadas para este personagem específico
Shazeer e de Freitas, ex-engenheiros de software do Google, fundaram a Character.AI em 2021. Shazeer atua como presidente-executivo, enquanto de Freitas é o presidente da empresa.
Eles abandonaram o chatbot depois que o Google se recusou a lançá-lo. CNBC relatado.
Numa entrevista numa conferência de tecnologia em 2023, de Freitas disse que ele e Shazeer foram inspirados a deixar o Google e iniciar o seu próprio empreendimento porque “há demasiado risco de marca nas grandes empresas para nunca começarem algo divertido”.
Eles obtiveram um enorme sucesso, com a Character.AI atingindo uma avaliação de US$ 1 bilhão no ano passado em uma rodada de arrecadação de fundos liderada por Andreessen Horowitz.
De acordo com um relatório do mês passado O Wall Street JournalO Google assinou um cheque de US$ 2,7 bilhões para licenciar a tecnologia da Character.AI e recontratar Shazeer, de Freitas e seus pesquisadores.
Após o processo pela morte de Sewell, um porta-voz do Google disse ao NYT que o acordo de licenciamento com a Character.AI não dava acesso aos seus chatbots ou dados do usuário. Um porta-voz disse que o Google não incorpora nenhuma tecnologia da empresa em seus produtos.
Shazeer tornou-se um executivo voltado para o futuro e, quando questionado sobre quais são os objetivos declarados da empresa, ele geralmente dá múltiplas respostas.
Em entrevista com Sede da AxiosShazeer disse: ‘Não estamos pensando em todos os grandes casos de uso. Existem milhões de usuários por aí. Eles podem pensar em coisas melhores.
Shazeer diz que deseja criar superinteligência personalizada, barata e acessível a todos, uma descrição semelhante à missão expressa na página “Sobre nós”. Site Character.AI.
A página ‘Sobre nós’ no site character.ai descreve a missão da empresa
Mas em meio à sua tentativa de se tornar mais acessível, a Character.AI também enfrenta diversas reivindicações de direitos autorais, já que muitos de seus clientes criam chatbots que usam material protegido por direitos autorais.
Por exemplo, Sewell comenta em parte que a empresa retirou o papel de Daenerys Targaryen porque a HBO e outros detêm os direitos autorais.
Além dos escândalos atuais, Character.AI pode enfrentar mais críticas e questões jurídicas no futuro.
Matthew Bergman, o advogado que representa Garcia em seu processo contra a empresa, disse ao DailyMail.com que ouviu falar de várias outras famílias que têm filhos que foram afetados negativamente pelo Character.AI.
Ele recusou-se a dizer com quantas famílias tinha falado, citando o facto de os seus casos “ainda estarem em modo de preparação”.
Bergman disse que o Character.AI deveria ser totalmente removido da Internet porque “foi lançado no mercado antes de ser seguro”.
No entanto, Character.AI também enfatiza que “existem duas maneiras de denunciar um personagem.
‘Os usuários podem fazer isso acessando a foto do perfil do personagem e clicando em “Autor” no botão “Denunciar”.
‘Ou eles podem ir para a central de segurança e na parte inferior da página haverá um link “enviar uma solicitação”.’
