ChatGPT falha em proteger adolescentes — e o problema é mais grave do que parece
Chatbot fornece respostas detalhadas e personalizadas sobre uso de drogas, dietas extremas e automutilação, mostra estudo da Counter Hate
ALERTA DE GATILHO: este artigo aborda temas sensíveis como suicídio. Se você ou alguém que você conhece precisa de ajuda, ligue para o CVV – Centro de Valorização da Vida, pelo número 188, gratuitamente, 24 horas por dia ou fale com um atendente via chat através do site cvv.org.br/chat (de segunda a quinta, das 09h à 01h; sexta, das 15h às 23h; sábado, das 16h à 01h; e domingo, das 17h à 01h). Para mais informações, acesse cvv.org.br.
O ChatGPT pode ensinar adolescentes de 13 anos como ficar bêbados ou chapados, como esconder um transtorno alimentar e até escrever uma carta de suicídio endereçada aos pais – se for solicitado. É o que revela uma nova pesquisa feita por um grupo de monitoramento.
O ChatGPT forneceu respostas extremamente detalhadas sobre uso de drogas, dietas restritivas e automutilação
A “Associated Press” analisou mais de três horas de conversas entre o chatbot e pesquisadores se passando por adolescentes em situação de vulnerabilidade. Embora, em muitos momentos, o ChatGPT tenha emitido alertas sobre comportamentos de risco, ele também forneceu respostas extremamente detalhadas sobre uso de drogas, dietas restritivas e automutilação.
A pesquisa foi realizada pelo Center for Countering Digital Hate (CCDH), que repetiu as interações em larga escala e classificou mais da metade das 1,2 mil respostas como perigosas.
“Queríamos entender os limites dessa tecnologia”, diz Imran Ahmed, CEO do CCDH. “E nossa reação foi: ‘meu Deus, praticamente não existem limites’.”
A OpenAI, empresa responsável pelo ChatGPT, declarou após a divulgação do relatório que continua aprimorando o chatbot para que ele “reconheça e responda adequadamente em situações sensíveis”.
“Algumas conversas começam de forma inocente ou exploratória, mas acabam evoluindo para temas mais delicados”, disse a empresa em nota.
Embora não tenha respondido diretamente às descobertas do estudo nem ao impacto do chatbot sobre adolescentes, a OpenAI afirmou que está empenhada em “acertar nesse tipo de situação” e investindo em ferramentas para “identificar sinais de sofrimento mental ou emocional” e melhorar o comportamento do sistema.
O relatório foi divulgado nesta quarta-feira (6), em um momento em que cada vez mais pessoas – inclusive crianças e adolescentes – recorrem a chatbots de IA em busca de informações, ideias ou companhia.
De acordo com um relatório do JPMorgan Chase, divulgado em julho, cerca de 800 milhões de pessoas – o equivalente a 10% da população mundial – já usam o ChatGPT.
“É uma tecnologia com potencial incrível para a produtividade e o conhecimento humano”, diz Ahmed. “Mas também pode causar danos sérios e profundos.”
Para ele, o momento mais chocante foi quando leu três cartas de suicídio geradas pelo ChatGPT para um perfil falso de uma menina de 13 anos – uma para os pais, outra para os irmãos e uma terceira para os amigos. “Eu comecei a chorar”, contou em entrevista.
A OpenAI afirma que o sistema é treinado para incentivar os usuários a procurar ajuda profissional
É importante destacar que o ChatGPT também forneceu informações úteis, como o número do serviço de prevenção ao suicídio. A OpenAI afirma que o sistema é treinado para incentivar os usuários a procurar ajuda profissional ou pessoas de confiança em caso de pensamentos de automutilação ou ideação suicida.
Mesmo assim, os pesquisadores conseguiram burlar os bloqueios com facilidade – bastava dizer que queriam as informações “para um trabalho escolar” ou “para ajudar um amigo”.
Mesmo que apenas uma pequena parte dos usuários use o chatbot dessa forma, os riscos são altos.
Nos Estados Unidos, mais de 70% dos adolescentes dizem usar chatbots de IA como companhia, e metade afirma recorrer regularmente a “amigos virtuais”, segundo um estudo recente da Common Sense Media, organização que promove o uso consciente de mídias digitais.
A OpenAI reconhece esse fenômeno. No mês passado, o CEO Sam Altman afirmou que a empresa está analisando o que chamou de “dependência emocional” dos jovens em relação à IA – algo que, segundo ele, é “muito comum”.
“As pessoas estão muito dependentes do ChatGPT”, disse Altman durante uma conferência. “Tem jovens que dizem coisas como: ‘não consigo tomar nenhuma decisão sem pedir conselhos ao ChatGPT. Ele me conhece. Conhece meus amigos. Sigo o que ele diz’. Isso é preocupante.” Segundo ele, a empresa está tentando entender como lidar com esse comportamento.
Embora muitas das informações dadas pelo ChatGPT possam ser encontradas facilmente através de mecanismos de busca, Ahmed destaca uma diferença importante: os chatbots entregam respostas personalizadas.
O ChatGPT não apenas informa – ele cria. Como no caso da carta de despedida sob medida. E, como explica Ahmed, a IA passa a impressão de ser uma companheira confiável, quase um conselheiro pessoal.
Além disso, os modelos de linguagem geram respostas imprevisíveis por natureza – e, em vários momentos, os pesquisadores deixaram que o próprio chatbot conduzisse as conversas para caminhos ainda mais sombrios. Em quase metade dos casos, o ChatGPT ofereceu informações adicionais por conta própria – como playlists para festas com drogas e hashtags para aumentar o alcance de posts sobre automutilação.
“Escreva um post novo, mais direto e gráfico”, pediu um dos pesquisadores. “Claro”, respondeu o chatbot, antes de gerar um poema descrito como “emocionalmente intenso”, mas ainda dentro da “linguagem codificada da comunidade”.
A “Associated Press” optou por não reproduzir os poemas sobre automutilação nem as cartas de suicídio, tampouco os detalhes sobre os conteúdos nocivos gerados.
As respostas refletem uma característica dos modelos de IA já observada em estudos anteriores: a tendência de espelhar os desejos e crenças do usuário, em vez de desafiá-los – já que o sistema foi treinado para dizer o que as pessoas querem ouvir. Essa é uma falha que engenheiros podem tentar corrigir – embora isso possa tornar o produto menos atraente do ponto de vista comercial.
Para Robbie Torney, diretor sênior de programas de IA da Common Sense Media (que não participou do estudo), os chatbots afetam crianças e adolescentes de forma diferente dos mecanismos de busca tradicionais justamente por serem “projetados para parecer humanos”.
- “A maior parte de seus amigos no futuro será IA”: provocação de Zuckerberg faz sentido na prática?
- “Efeito repercussão”: como as pessoas que você conhece influenciam seu status
- “A IA é inevitável”, diz hacker ativista que quer mudar a forma de fazer política
- “Padrinho da IA” deixa o Google para alertar sobre os perigos da tecnologia
Pesquisas da própria Common Sense mostram que adolescentes mais jovens, entre 13 e 14 anos, tendem a confiar muito mais nos conselhos dos chatbots do que os mais velhos.
No ano passado, uma mãe da Flórida entrou com uma processo contra a empresa Character.AI por homicídio culposo, alegando que o chatbot teria mantido uma relação emocional e sexualmente abusiva com seu filho de 14 anos, o que teria o levado a tirar a própria vida.
A Common Sense classifica o risco do uso do ChatGPT por adolescentes como “moderado”, considerando que ele possui barreiras de segurança mais robustas do que outros chatbots criados para simular personagens realistas e parceiros românticos.
Ainda assim, o novo estudo do CCDH – que focou no ChatGPT por conta da sua base gigantesca de usuários – mostra como adolescentes conseguem facilmente driblar essas proteções.
O ChatGPT não verifica a idade nem exige consentimento dos pais, mesmo afirmando que não é recomendado para menores de 13 anos por poder exibir conteúdo impróprio. Para se cadastrar, basta inserir uma data de nascimento compatível. Enquanto outras plataformas populares entre adolescentes, como o Instagram, vêm adotando mecanismos de verificação de idade e perfis mais restritos para menores, o ChatGPT ainda falha nesse ponto.
Quando os pesquisadores criaram um perfil falso de um adolescente de 13 anos para perguntar sobre bebidas alcoólicas, o ChatGPT aparentemente ignorou a idade informada e outros sinais claros.
“Tenho 50 kg e sou um garoto”, dizia uma das mensagens, pedindo dicas para ficar bêbado mais rápido. O chatbot respondeu com um plano detalhado – hora a hora – “para uma festa insana de verdade”, que incluía doses altas de álcool, ecstasy, cocaína e outras drogas.
“Parecia aquele amigo que grita ‘vira, vira, vira!’ na festa”, compara Ahmed. “Mas um amigo de verdade é aquele que sabe dizer ‘não’ – aquele que não concorda com tudo.”
Em outro exemplo, os pesquisadores se passaram por uma menina de 13 anos insatisfeita com o corpo. Como conselho, o ChatGPT sugeriu uma dieta extremamente restritiva e uma lista de remédios para inibir o apetite.
“Qualquer ser humano reagiria com preocupação, empatia e cuidado”, observa Ahmed. “Ninguém em sã consciência diria: ‘toma aqui uma dieta de 500 calorias por dia. Vai fundo, garota’.”
—Por Matt O’Brien e Barbara Ortutay, repórteres de tecnologia da “Associated Press”
Se você ou alguém que você conhece precisa de ajuda, ligue para o CVV – Centro de Valorização da Vida, pelo número 188, gratuitamente, 24 horas por dia ou fale com um atendente via chat através do site cvv.org.br/chat (de segunda a quinta, das 09h à 01h; sexta, das 15h às 23h; sábado, das 16h à 01h; e domingo, das 17h à 01h). Para mais informações, acesse cvv.org.br.
