Como algoritmos transformam a web em ambiente tóxico e violento
Sem freios e regulamentações, algoritmos de redes sociais trazem conteúdos perturbadores à superfície. Haverá alguma forma de resgatar a web?
"AS REDES SOCIAIS NÃO SÃO TERRA DE NINGUÉM". Assim mesmo, em caps lock. A frase foi retirada do inquérito que o ministro do Supremo Tribunal Federal (STF) Alexandre de Moraes abriu contra Elon Musk e a sua rede social Twitter (atual X), no último domingo.
O documento vem depois de Musk ameaçar a reativação de perfis que haviam sido banidos da rede por decisões jurídicas. O episódio só reforça a importância do debate em torno da regulamentação das redes sociais.
Não é só uma questão de liberdade de expressão, mas de segurança e proteção a audiências vulneráveis. Por exemplo, de acordo com pesquisa feita pelo Instituto Think Twice Brasil, de 1,2 mil vídeos recomendados para o perfil de uma criança no TikTok, 13% foram de violência extrema.
Um menino ataca uma colega de sala de aula com uma caneta. Três garotas suplicam pela vida enquanto são torturadas. Um estudante é morto a tiros na quadra do colégio. Essas são descrições literais de vídeos encontrados no feed de uma criança.
Conteúdos perturbadores e violentos estão a poucos cliques de distância de qualquer usuário de redes sociais.
E não são casos isolados, mas exposição contínua. É o que explica a coordenadora da pesquisa, Gabriele Costa Garcia, cofundadora e presidente do Instituto Think Twice, que promove educação de direitos humanos, cultura e paz.
As pesquisadoras do instituto simularam o perfil de um adolescente na plataforma de microvídeos e interagiram com a rede por um mês. Em menos de 15 dias, o feed se transformou na filial da deepweb.
“A violência é contagiosa. Quando violências inconcebíveis passam a fazer parte do repertório, a pessoa incorpora aquilo como algo possível de ser replicado na realidade”, diz Gabriele.
PERIGO NA ESCOLA
Um dos fatores que a motivaram a iniciar a pesquisa foram os crescentes casos de ataques dentro das escolas no Brasil no ano passado. Seis dos últimos 10 ataques a escolas brasileiras nas últimas duas décadas ocorreram entre 2022 e 2023, de acordo com a Unicamp.
Pesquisadores da universidade encontraram sinais de radicalização online em 71,8% dos casos desde 2011. Receber os conteúdos online no feed foi colocado como uma das razões da radicalização de jovens, que culminou nos ataques.
“O grande problema é que esse conteúdo está na superfície, a dois cliques de distância”, afirma Estela Aranha, especialista em direito digital, membro do High Level Advisory Board on Artificial Intelligence, da Organização das Nações Unidas (ONU) e ex-secretária de direitos digitais no Ministério da Justiça e Segurança Pública.
No governo, Estela esteve à frente da operação Escola Segura, que realizou ações contra ataques em escolas no ano passado.
Para monitorar possíveis atividades danosas, o Ministério da Justiça se conectou com mais de 100 órgãos de inteligência do país, além de abrir um canal de denúncias com triagem feita pela Safernet. Todo esse aparato para evitar que adolescentes sejam cooptados por discursos terroristas.
MAU DO MAL
A facilidade com que jovens encontram conteúdos danosos e violentos não acontece apenas pelo algoritmo de recomendação. A própria estrutura de redes como Instagram e TikTok é pensada para fazer com que o conteúdo chegue no usuário, e não o contrário.
Tudo faz parte de um sistema de recompensas baseado em duas métricas muito mais importantes do que o número de curtidas e comentários: audiência e atenção.
Tais métricas se refletem em um indicador repetido em todos os relatórios de resultados trimestrais de redes sociais: os usuários ativos mensais (MAUs, na sigla em inglês).
Pesquisadores da Unicamp encontraram sinais de radicalização online em 71,8% dos casos de ataques a escolas desde 2011.
Calculada a partir do número de pessoas que interagem com a rede pelo menos uma vez por mês, a taxa indica o poder que a rede social tem também junto aos anunciantes.
O Instagram, por exemplo, chegou aos dois bilhões de usuários ativos no mundo. O TikTok tem um bilhão de usuários ativos mensais. As plataformas são construídas para aumentar os MAUs. Ou seja, tudo – do cadastro até a quantidade de ícones que aparecem no menu – é otimizado pensado nesse indicador.
Por isso. a criação do perfil em uma rede, por exemplo, tem poucos passos. Afinal, que sistema chega aos dois bilhões de usuários se for difícil fazer o cadastro? Qual espaço mantém as pessoas postando se a página tiver muitos passos de validação?
TRUQUES PARA MANTER A ATENÇÃO
A falta de fricção das redes não é lá tão positiva quando o assunto são crianças e jovens, como explica George Valença, professor do departamento de computação da Universidade Federal Rural de Pernambuco (UFRPE),
Em sua pesquisa recente, Valença aborda o impacto de diferentes tipos de design de plataformas de redes sociais no público infantil. Para ele, alguns processos são “propositalmente falhos”. Como o caso dos cadastros de novos perfis.
A regra de uso da maioria das redes sociais coloca uma idade mínima de 13 anos para usuários. Parte das big techs tem sede na Califórnia, cuja lei permite que crianças a partir dessa idade assinem contratos. Na prática, não há validação de identidade, logo, é um sistema simples de burlar. “Mais etapas para publicação e para cadastro poderiam tornar o ambiente mais seguro”, diz o professor.
Há outros sistemas de recompensa para manter a pessoa na rede. São os chamados “designs manipulativos” ou “designs de manipulação”. Existem mais de 30, desde as notificações de mensagem até tornar os ícones mais arredondados e “fofos”, passado por mostrar a quantidade de curtidas e o menu lateral “escondido”.
Existem equipes e áreas inteiras desenhando tais telas. A manipulação não é em favor do bem-estar das crianças, ou mesmo dos usuários adultos, mas sim do modelo de negócios.
Na opinião de Maria Mello, coordenadora do programa Criança e Consumo, do Instituto Alana, o ambiente online que coloca a atenção do usuário no centro do modelo de negócios amplia os conteúdos tóxicos, que tendem a engajar mais.
A lógica das redes sociais é para fazer com que o conteúdo chegue no usuário, e não o contrário.
“Ao buscar prender o usuário por mais tempo, a rede explora as hiper vulnerabilidades inerentes a crianças e adolescentes”, aponta.
O que ocorre com crianças online ressalta as falhas na economia da atenção. “A internet que a gente achou que seria libertadora está cada vez mais aprisionante”, diz Márcio Borges, vice-presidente da agência WMcCann e pesquisador do NetLab.
A toxicidade nas redes não é consequência, mas estrutura do modelo de negócio das big techs.
QUEM GANHA?
Embora ofereçam milhares de opções de filtros para aplicar em vídeos e fotos, as redes não oferecem tantos filtros para prevenir a segurança das pessoas por ali.
Tanto o Instagram quanto o TikTok usam IA para analisar as imagens no momento em que é feita a postagem. É assim que, por exemplo, a Sony consegue detectar que uma música ou filme de sua propriedade está sendo usado sem o pagamento de direitos autorais e o conteúdo sai do ar.
Mas são dispositivos falhos, que não conseguem captar nuances. A pesquisa da Think Twice Brasil mostrou que muitos dos vídeos violentos tinham descrições com palavras modificadas para passarem pelo filtro (o “algospeak”).
Gabriele conta que, em alguns dos vídeos, até mesmo a imagem era modificada: no lugar de gráficos, havia a reconstrução de uma cena violenta com personagens do popular jogo Minecraft.
A moderação passa também por humanos, em um modelo que não fecha a conta. Companhias como a Meta terceirizam a moderação em países do Sul Global. As empresas terceirizadas oferecem salários baixos e condições de trabalho pouco atrativas, como indústrias insalubres.
Quem está na ponta, entrando em contato com postagens violentas, agressivas, com discursos de ódio extremos, paga a conta também com a saúde mental.
Esse foi um detalhe que o Instituto Think Twice captou nos materiais sem querer. Gabriele disse que não foi contabilizada a exaustão mental que as pesquisadoras teriam ao ter acesso aos vídeos.
A quantidade de postagens também não ajuda. Em 2021, mais de 16 mil vídeos eram postados no TikTok por minuto. Segundo a empresa, globalmente, são 40 mil pessoas trabalhando na frente de moderação de conteúdo na plataforma.
Não há capacidade humana para captar tudo. Em alguns casos, chega a ser algo como analisar um vídeo a cada um minuto e meio, aponta Valença, que estuda moderação de conteúdo e tem contato com moderadores brasileiros.
A toxicidade nas redes não é consequência, mas estrutura do modelo de negócio das big techs.
Outro filtro que as redes oferecem é a denúncia de conteúdo a partir das diretrizes de boas condutas. Segundo Estela Aranha, o canal de denúncias ativo tem um alto grau de eficiência, mas, ainda assim, não atua na prevenção de crimes. A rapidez com que as plataformas tiram o vídeo do ar também deixa a desejar.
Em comunicado oficial, o TikTok informou que vídeos de violência e conteúdos explícitos não são permitidos pelas diretrizes de comunidade da plataforma e que são retirados do ar.
Segundo dados da Aplicação de Diretrizes de Comunidade, de julho a setembro do ano passado, 90,6% dos vídeos que violam estas regras e são identificados foram removidos do ar nas primeiras 24 horas.
A Fast Company Brasil, no entanto, encontrou os vídeos ainda no ar, alguns com mais de um milhão e meio de visualizações .
Um dos influenciadores que comenta casos de mortes brutais e torturas tem mais de um milhão de seguidores no TikTok e 32,5 milhões de curtidas em seus vídeos. Além disso, o influenciador ainda participa da Inscrição de Live, sistema de monetização mensal direta para criadores da plataforma.
“Quem é que vence na internet?”, questiona Gabriele.
QUEBRANDO O SISTEMA
“A desinformação é um negócio lucrativo. Estão premiando o ambiente tóxico. As redes precisam ser responsáveis sobre aquilo que é monetizado”, diz Márcio Borges, que estuda os impactos econômicos da desinformação digital desde 2015.
O pesquisador lembra que se trata de uma rede de incentivos para que conteúdos desse tipo continuem no ar. São plataformas inteiras criadas para apoiar os MAUs. Mesmo que um vídeo ou uma postagem saia do ar, existem outras centenas para entrar no lugar.
Conteúdos extremos fazem parte do ecossistema da internet. Eles não existem apenas no TikTok ou no Instagram. Uma das páginas citadas na pesquisa como fonte para vídeos de extermínios têm podcasts, canal no YouTube, notícias no Google News e páginas no Facebook. Todas elas com banners e com rankeamento alto em pesquisas.
Parte da razão que explica tais estruturas seguirem em pé é o calcanhar de Aquiles das big techs: a transparência. Guardados a sete-chaves, os algoritmos de recomendação são a “caixa-preta” do funcionamento das redes.
Não saber como eles funcionam é como entrar em um espaço sem saber o que há lá dentro. “É como se a gente deixasse nossos filhos no shopping, porém não pudéssemos verificar além da fachada. Não tem como saber se é um shopping de verdade ou se é um bordel”, compara Borges.
Pesquisadores de universidades norte-americanas e europeias tiveram que se juntar para criar modelos que se assemelham com o sistema da página “for you” do TikTok.
Eles descobriram que 30% a 50% dos primeiros mil vídeos que os usuários encontram na página personalizada têm a ver com interesses manifestados pela navegação passada. Os demais são recomendações baseadas em fatores como seguidores, amigos, conhecidos e formatos das imagens.
Para chegar nesse resultado – que ainda não é preciso – foram necessários cinco pesquisadores, três bots e uma base de dados. Os dados só foram obtidos graças a uma lei aprovada pela União Europeia em 2016, o Regulamento Geral sobre a Proteção de Dados (GDPR, na sigla em inglês).
Regulamentar é o caminho apontado por especialistas, já que contar com a autorregulação só levou a mais opacidade por parte das plataformas.
Nos últimos meses, inclusive, tem ficado mais difícil para pesquisadores acessar dados brutos da Meta e do Twitter. As companhias justificam a proteção como parte dos processos para blindar os algoritmos de manipulações por conta das eleições em 2024.
LEGISLAÇÃO NÃO DÁ CONTA
A transparência anda lado a lado com a responsabilização. Não é possível monitorar aquilo que não se sabe. Não é possível regular aquilo que não se entende.
No Brasil, por exemplo, há leis como o Marco Civil da Internet (de 2014) e a Lei Geral de Proteção de Dados (LGPD, de 2020), que, em tese, protegem crianças de ameaças online. Na prática, aplicar as regras exige muito mais das vítimas, das autoridades policiais e do Ministério da Justiça do que das grandes companhias.
Foi só no ano passado, depois dos ataques a escolas, que a Agência Nacional de Proteção de Dados (ANPD) aprovou um enunciado para amparar o tratamento de crianças e adolescentes a partir da LGPD. Mas, com menos de 50 funcionários, o órgão ainda não tem força para investigação, quanto mais para prevenção.
Estela Aranha acredita que a ANPD tem potencial para ser o grande espaço para disciplinar o mercado de tecnologia. Ainda assim, a advogada aponta que é necessária legislação para garantir que as plataformas entreguem informações mais precisas com recorrência.
Em meio à névoa provocada pelas próprias empresas, governos optam por fechar as portas para as redes sociais. Pelo menos para crianças. Nos EUA, a Flórida proibiu o uso de redes sociais por jovens menores de 14 anos e outros estados estão seguindo essa linha.
Por aqui, o Projeto de Lei 2628/2022, propõe o mesmo para os jovens brasileiros. Proposto no Senado, o projeto segue em lenta tramitação.
A proibição, no entanto, não é bem vista pelos especialistas brasileiros. Para George Valença, é impraticável garantir que uma regra assim funcione sem que as companhias alterem as estruturas. Proibir, de certa forma, tira a pressão para que elas mudem os sistemas que criam ambientes tóxicos.
Se a deepweb vier mesmo à superfície, não serão apenas as crianças que precisarão ser protegidas.
