O detector de IA não funciona do jeito que deveria
Os detectores de IA tentam identificar marcas de textos sintéticos, mas modelos e usuários aprendem rapidamente a apagá-las.
Há cerca de um ano e meio, comecei a eliminar deliberadamente os travessões dos meus textos. O motivo era exatamente o que você está pensando: chatbots de IA tendem a usá-los em excesso, e sua presença estava se tornando uma pista. Mesmo que as palavras fossem 100% humanas, imaginei que qualquer leitor poderia estranhar ao vê-los e se perguntar: isto foi escrito por IA? Os detectores de IA não são os únicos a procurar esses sinais.
Não dá para culpar o mundo por tanta desconfiança. Artigos, posts em redes sociais e e-mails gerados sinteticamente estão por toda parte. Uma análise da Graphite constatou que artigos produzidos por IA já representam cerca de metade de tudo o que é publicado online, empatando com a parcela escrita por humanos. Embora a presença de texto gerado por IA não signifique necessariamente que o conteúdo seja “slop”, a maioria das pessoas a usa como indicador de qualidade ou, mais precisamente, para decidir se algo merece seu tempo.
Leia também: Metade dos textos publicados na web já é feita por IA. Será o fim dos escritores humanos?
Recentemente, os detectores de IA receberam muita atenção porque, em tese, deveriam resolver ou ao menos amenizar o problema. Mas não conseguiram, por três razões. Primeiro, podem ser pouco confiáveis e às vezes produzem falsos positivos. Segundo, a presença de pistas — mesmo quando têm origem humana — continua sendo um problema, porque o julgamento acontece na cabeça do leitor, onde nenhum software de detecção tem direito a voto. Terceiro, não há sequer consenso sobre qual é exatamente o problema.
O JULGAMENTO DE STANLEY DRUCKENMILLER
Esse terceiro ponto ganhou destaque na semana passada, quando o bilionário Stanley Druckenmiller contou ao NOTUS, site de notícias sobre governo e política, que havia usado IA para escrever um artigo de opinião para o The Wall Street Journal. A revelação veio depois que a economista Claudia Sahm submeteu o texto ao detector de IA Pangram e publicou que a ferramenta havia classificado todo o conteúdo como escrito por máquina.
Mas, em vez de pedir desculpas e se esconder constrangido, Druckenmiller assumiu o uso com orgulho. É claro que havia recorrido à IA, disse, pelo mesmo motivo que usa uma calculadora para fazer contas. Admitiu não ter talento para escrever e, por isso, delegou o trabalho à IA, algo que afirma fazer o tempo todo. O importante, segundo ele, era ter revisado o artigo e endossar cada uma de suas palavras.
Paul Gigot, editor da página de opinião do Journal, concordou: “A IA é uma realidade da vida moderna. As pessoas vão usá-la para auxiliar no trabalho e na escrita, inclusive em pesquisas, revisão gramatical, edição e outras tarefas. Para nós, a questão é saber se o que publicamos de colaboradores reflete o argumento original do autor e se ele tem as credenciais e a credibilidade necessárias para defendê-lo.”
Depois do episódio, o Semafor fez sua própria análise para descobrir com que frequência textos de IA aparecem entre os artigos de opinião publicados pelo Journal, pelo The New York Times e pelo The Washington Post. A frequência mostrou-se relativamente baixa: cerca de 3% dos artigos analisados foram classificados como inteiramente escritos por IA. A parcela do Journal, de 5%, é um pouco maior que a dos demais, em linha com a posição de Gigot. Por que algo que mal acontece provoca uma reação tão desproporcional?
No centro disso está a equação simples que se forma na cabeça das pessoas quando elas identificam o que consideram uma pista de IA — neste caso, a transição com jeito de IA no artigo de Druckenmiller: “Há também um custo mais silencioso.” Quando você começa a questionar se alguém usou IA para escrever, passa a questionar também o esforço empregado. A reportagem do NOTUS citou um professor de jornalismo para quem o uso de IA “levanta dúvidas sobre quanto tempo e reflexão foram realmente dedicados ao artigo”. Ninguém dizia que o texto de Druckenmiller estava errado. A acusação era de que ele havia sido feito de maneira barata. O estilo virou um indicador de esforço, e o esforço, um indicador de credibilidade.
CONDENADO PELA PONTUAÇÃO
Há problemas em usar o estilo para condenar alguém, seja qual for o crime em questão. Um deles é que a escrita produzida por IA — assim como os métodos usados para encontrar e contornar suas marcas — continua evoluindo. Um estudo recente constatou que, entre os principais modelos de IA, apenas o Claude ainda usa mais travessões do que autores humanos. Essa pista existe há tempo suficiente para que ChatGPT, Gemini e outros agora a evitem de forma proativa.
Leia também: A IA não está só escrevendo por você. Está fazendo todo mundo soar igual
Isso inverte o sinal e, junto com ele, a edição defensiva que descrevi no início. Se você retira os travessões, passa a escrever mais como o ChatGPT, não menos. Hoje já não evito tanto esse recurso, mas adquiri um novo hábito: eliminar os espaços antes e depois do travessão, porque a IA tende a inseri-los por padrão — talvez você tenha notado. Em algum momento, provavelmente também precisarei mudar isso.
Talvez o melhor indicador da dimensão desse problema seja a página da Wikipédia intitulada “Signs of AI writing”, que detalha os muitos, muitos cacoetes que, em algum momento, serviram como sinal de que determinadas palavras eram sintéticas. A própria página reconhece que publicar um guia acaba alimentando essa corrida armamentista, já que qualquer padrão previsível o bastante para ser documentado pode ser evitado de forma sistemática.
Leia também: Como saber se foi a IA que escreveu? Wikipédia faz a curadoria dos clichês
Essa é a armadilha. Quanto mais as pessoas aprendem a reconhecer pistas como paralelismos negativos (“Não é isto. É aquilo.”), palavras de transição no início da frase (“Ademais...”) ou listas de três itens separados pela vírgula de Oxford, mais fácil se torna para modelos — e humanos — eliminá-las. Na prática, uma pista deixa de ser útil no momento em que você percebe que ela é uma pista.
Isso vale em dobro para quem tem alguma habilidade, mesmo modesta, em criar prompts que orientem a IA a não soar como IA. Desde que os aplicativos de IA passaram a permitir instruções personalizadas, incluo uma longa lista de palavras que devem ser evitadas nas respostas: delve, revolutionize, unleash e outras. Às vezes, mostro a lista nas aulas de IA que dou, com a ressalva de que provavelmente ela está obsoleta há algum tempo, já que hoje os modelos evitam essas palavras por padrão. Isso, porém, não reduziu a procura por guias que ensinam a identificar pistas e métodos para escapar delas.
O QUE AS ASSINATURAS NÃO DIZEM
Esse é o mesmo instinto por trás da repercussão do caso Druckenmiller: todos temos medo de que uma pista de IA acione um interruptor na cabeça do leitor e o leve a descartar o trabalho e, por extensão, nossa credibilidade. A detecção formal de IA é quase irrelevante. E, de todo modo, não é confiável, sobretudo para autores cuja primeira língua não é o inglês. Os detectores de IA mais populares, Pangram e GPTZero, apresentam taxas de erro nada desprezíveis. Os humanos se saem pior. As pessoas mais capazes de identificar textos de IA são usuários frequentes dessas ferramentas, que acertam em cerca de 90% dos casos. Para todos os demais, o resultado se aproxima de um cara ou coroa.
Leia também: O público vai perdendo confiança na mídia. IA seria o problema ou a solução?
A assinatura deveria resolver essa questão. O uso de IA na escrita não precisa ser uma letra escarlate. Se você usa a tecnologia, submete o texto ao julgamento humano e endossa todas as palavras, em tese não deveria importar que a IA tenha participado de sua produção.
Druckenmiller fez tudo isso, com direito ao aval de seu editor, e ainda assim não adiantou. Isso acontece porque existe uma camada de julgamento por baixo de toda essa discussão, e ela está na cabeça do leitor. Ela não espera por nenhum tipo de teste de responsabilização. Simplesmente dá o veredito antes que alguém possa discutir credenciais. Essa dinâmica aparece na contradição da transparência: 94% dos leitores dizem querer avisos sobre o uso de IA em textos, mas 42% confiam menos no artigo quando veem um deles.
COMO ADMINISTRAR A PERCEPÇÃO
Onde isso nos deixa? Marcas-d’água para IA podem ajudar um pouco. Recentemente, a Anthropic introduziu uma espécie de “impressão digital” de IA nos textos produzidos pelo Claude, criando uma ferramenta potencialmente mais confiável do que a detecção convencional, porque estabelece um verdadeiro sinal de procedência. Mas nem isso é perfeito: edição e paráfrase podem ocultar ou apagar a marca. E, sinceramente, não deveriam? Ao editar ou parafrasear, você está, por definição, aplicando julgamento humano ao texto — e esse deveria ser justamente o objetivo.
No fim, editores de redações e equipes de comunicação precisam mudar a perspectiva: em vez de apenas controlar o uso de IA, devem administrar a credibilidade. E isso depende da percepção, que muda o tempo todo à medida que os modelos melhoram, as ferramentas de IA se tornam mais comuns e o público aprende mais sobre a tecnologia, tanto como leitor quanto como usuário. A única defesa confiável é escrever bem o bastante para que ninguém pense em perguntar.
