Mais de um milhão de usuários (por semana) falam sobre suicídio com o ChatGPT

OpenAI está trabalhando para que seus modelos ofereçam respostas seguras a usuários em sofrimento

cabeça humana em forma de estátua se desmontando como um quebra-cabeças
Crédito: VPanteon/ Getty Images

Mark Sullivan 2 minutos de leitura

ALERTA DE GATILHO: este artigo aborda temas sensíveis como suicídio. Se você ou alguém que você conhece precisa de ajuda, ligue para o CVV – Centro de Valorização da Vida, pelo número 188, gratuitamente, 24 horas por dia ou fale com um atendente via chat através do site cvv.org.br/chat . Para mais informações, acesse cvv.org.br.

Segundo a OpenAI, 0,15% dos usuários do ChatGPT têm conversas que mostram “sinais claros de possível planejamento ou intenção suicida”. Com cerca de 2,8 bilhões de usuários ativos por mês, isso significa que mais de um milhão dessas conversas acontecem todas as semanas.

A situação coloca a empresa em uma posição extremamente delicada. É impossível prever quantas dessas pessoas podem acabar tomando decisões com base nas respostas do chatbot.

Um caso emblemático é o de Adam Raine, um adolescente norte-americano que cometeu suicídio em abril após conversas com o ChatGPT. Seus pais entraram com um processo contra a OpenAI e o CEO Sam Altman, alegando que seu filho tirou a própria vida em decorrência dessas interações.

Muitos usuários dizem se sentir mais à vontade para conversar com uma inteligência artificial justamente por acreditarem que não serão julgados. Mas estudos indicam que chatbots nem sempre cumprem bem esse papel “terapêutico”.

Pesquisadores da Universidade Brown, nos Estados Unidos, apontam que ferramentas de IA frequentemente violam princípios éticos fundamentais da saúde mental – o que reforça a necessidade de estabelecer normas e sistemas de supervisão diante do aumento do uso dessas tecnologias.

Tudo isso ajuda a explicar as recentes mudanças da OpenAI em relação à saúde mental. A empresa fez ajustes importantes em seu novo modelo, o GPT-5, motivada por preocupações com usuários que enfrentam questões de saúde mental.

balões de conversas ligados por uma rede de fios, simbolizando conversas com chatbots
Crédito: Just Super/ Getty Images

O modelo foi treinado para ser menos complacente – isto é, menos propenso a concordar automaticamente com o que o usuário diz, principalmente quando se trata de pensamentos autodestrutivos.

A OpenAI também anunciou novas medidas. Agora, o chatbot pode incluir links para canais de apoio emocional em respostas a pessoas em sofrimento, redirecionar conversas delicadas para versões mais seguras do modelo e até sugerir pausas durante longas sessões de chat.

A empresa afirma ter testado as respostas de seus modelos em mil conversas sobre automutilação e suicídio. O novo GPT-5 forneceu respostas consideradas adequadas 91% das vezes, contra 77% da versão anterior.

Muitos usuários dizem se sentir mais à vontade para conversar com uma IA.

Mas esses resultados foram obtidos em testes de laboratório e ainda não se sabe o quanto refletem as interações reais. A própria OpenAI reconhece que é difícil identificar de forma precisa os sinais de um usuário em sofrimento.

O assunto ganhou destaque recentemente. Pesquisas mostram que usuários do ChatGPT – sobretudo os mais jovens – costumam conversar por horas com o chatbot sobre temas pessoais, como autoestima e relacionamentos.

Embora essas conversas não sejam as mais comuns na plataforma, segundo os pesquisadores, estão entre as mais longas e envolventes.


SOBRE O AUTOR

Mark Sullivan é redator sênior da Fast Company e escreve sobre tecnologia emergente, política, inteligência artificial, grandes empres... saiba mais