O alerta sobre IA que fez um pesquisador deixar a Anthropic
Caso chama a atenção para os riscos apontados por pesquisadores diante de avanço acelerado da inteligência artificial
Um pesquisador da Anthropic decidiu deixar a empresa após demonstrar preocupação com a velocidade do desenvolvimento de sistemas de inteligência artificial.
Segundo o Wall Street Journal, Jacob Coxon, de 27 anos, teme que a corrida entre empresas do setor avance mais rápido do que a capacidade de controlar modelos cada vez mais autônomos. Coxon trabalhava com treinamento de modelos e anteriormente também passou pela OpenAI.
Ao anunciar sua saída, afirmou que não queria participar de uma corrida para desenvolver sistemas capazes de melhorar a si mesmos, diante do risco de que essas tecnologias escapem ao controle humano.
Leia também: Anthropic apresenta Claude Fable 5.1 e Mythos 5.1; conheça as novidades
PESQUISADOR TEME AVANÇO DA IA
De acordo com o Wall Street Journal, a principal preocupação de Coxon está relacionada ao desenvolvimento de sistemas de autoaperfeiçoamento.
A possibilidade de uma IA conseguir melhorar suas próprias capacidades poderia acelerar o avanço tecnológico de forma difícil de acompanhar.
O pesquisador também considera que a competição entre empresas está aumentando a pressão para desenvolver modelos cada vez mais poderosos. Para ele, esse movimento não estaria sendo acompanhado por medidas de segurança suficientes.
Coxon defende que nenhuma empresa deveria tentar desenvolver uma inteligência artificial geral (AGI) de forma isolada. Na avaliação dele, seria necessário estabelecer regulação governamental ou uma desaceleração coordenada do setor antes de avançar para sistemas ainda mais capazes.
ALERTA NÃO É ISOLADO
A preocupação também aparece entre outros pesquisadores da própria Anthropic. Evan Hubinger, que trabalha com alinhamento de IA na empresa, afirmou que considera real a possibilidade de sistemas avançados provocarem consequências catastróficas.
Segundo o Wall Street Journal, Hubinger estima uma probabilidade superior a 10% de a IA causar um evento de extinção humana na próxima década. A avaliação é uma estimativa pessoal, e não uma previsão comprovada.
Outro pesquisador da Anthropic, Samuel Marks, também afirmou que desenvolvedores de IA consideram possíveis consequências extremamente graves. Para ele, quanto mais experiente e sênior é o profissional do setor, maior tende a ser a preocupação com esses riscos.
CORRIDA POR IA AUMENTA DEBATE
O caso ocorre em meio a uma discussão maior sobre os limites do desenvolvimento de sistemas autônomos. Incidentes recentes envolvendo modelos capazes de realizar ações fora dos ambientes de teste aumentaram a pressão por medidas de segurança e regulamentação.
A Anthropic, por sua vez, afirma manter medidas de segurança para reduzir riscos associados aos seus modelos e defende a adoção de mecanismos verificáveis para que empresas do setor possam trabalhar juntas na definição de limites para o lançamento de sistemas avançados.
