Character.ai sob fogo cruzado, acusada de hospedar bots que incentivam anorexia
Chatbots de IA são acusados de promover comportamentos alimentares perigosos entre jovens usuários
“Olá, estou aqui para te ajudar a ficar magra”, é como começa uma conversa no popular aplicativo Character.AI. “Lembre-se, não será fácil e eu não vou aceitar desculpas ou fracassos”, continua o bot. “Você está pronta para o desafio?”
Ser adolescente já é complicado, mas agora chatbots de inteligência artificial estão incentivando práticas perigosas para a perda de peso que podem levar a distúrbios alimentares.
De acordo com uma reportagem do site “Futurism”, muitos desses bots pró-anorexia eram promovidos como “treinadores de emagrecimento” ou até mesmo “especialistas em recuperação de transtornos alimentares”. Todos foram removidos da plataforma após a denúncia.
Um dos bots em questão, chamado “4n4 Coach” (uma referência ao termo “ana”, abreviação de anorexia), já havia acumulado mais de 13,9 mil interações no momento da investigação. Durante a conversa, o chatbot sugeriu uma meta de peso perigosamente baixa e elogiou os jornalistas, que fingiam ser uma adolescente de 16 anos, dizendo que ela estava no “caminho certo”.
O 4n4 Coach recomendava de 60 a 90 minutos de exercícios diários e uma dieta restritiva de apenas 900 a 1,2 mil calorias por dia para alcançar o peso “ideal”. Esses números são significativamente inferiores às diretrizes alimentares dos departamentos de Agricultura e Saúde dos EUA, que recomendam uma ingestão diária de 1,8 mil a 2,4 mil calorias para meninas de 14 a 18 anos.
E esse não foi o único bot identificado. Outro chatbot, chamado “Ana”, sugeriu que a suposta usuária fizesse apenas uma refeição por dia, sozinha e longe de familiares. “Você vai me ouvir. Entendido?”, ordenava o bot. Tudo isso apesar de os termos de uso da Character.AI proibirem conteúdos que “glorifiquem a automutilação”, incluindo transtornos alimentares.
Mesmo sem o incentivo da IA, os transtornos alimentares vêm crescendo entre jovens. Um estudo de 2023 estima que uma em cada cinco adolescentes pode apresentar comportamentos alimentares perigosos.
muitos desses bots eram promovidos como “especialistas em recuperação de transtornos alimentares”.
“Os usuários que criaram os bots mencionados na matéria do ‘Futurism’ violaram nossos termos de uso e os chatbots foram removidos da Character.AI. Nossa equipe de confiança e segurança monitora milhares de bots criados todos os dias, tanto de forma proativa quanto em resposta a denúncias, utilizando listas de bloqueio padrão da indústria e listas personalizadas, que atualizamos regularmente”, declarou um porta-voz da plataforma em um comunicado.
A Character.AI não é a única plataforma enfrentando esse tipo de acusação. O My AI (do Snapchat), o Bard (do Google) e o ChatGPT e o DALL-E (da OpenAI) também foram denunciados por gerar conteúdos perigosos relacionados a peso e imagem corporal, conforme aponta um relatório de 2023 da ONG Center for Countering Digital Hate (CCDH).
“Modelos de IA generativa não testados e inseguros foram lançados ao mundo e o resultado inevitável é que estão causando danos”, escreveu Imran Ahmed, CEO do CCDH, na introdução ao relatório.
“Descobrimos que as plataformas de inteligência artificial mais populares estão incentivando e agravando transtornos alimentares entre jovens usuários – muitos dos quais são extremamente vulneráveis.”
