É assim a imagem de um som (segundo a inteligência artificial)
Novo aplicativo da web transforma a música em um show selvagem de imagens usando IA generativa
O fenômeno da sinestesia é quase impossível de entender – a menos que você o tenha experimentado. Essa condição neurológica em que um sentido pode desencadear uma experiência através de outro sentido (como quem enxerga os sons ou sente uma cor, por exemplo) é relativamente rara – apenas uma em cada duas mil pessoas são sinestésicas.
Mas um novo aplicativo do estúdio Modem, com sede em Amsterdã, na Holanda, ajuda pessoas comuns a entender como funciona a sinestesia. Ele consegue fazer isso conectando um sintetizador de música diretamente ao modelo de aprendizagem profunda Stable Diffusion, para ver o que a inteligência artificial cria a partir daí.
Apesar de usar a mesma tecnologia subjacente, essa estratégia do aplicativo é diferente, e tem resultados que não se parecem com os da Lensa, do DALL-E, Midjourney, ou com os do próprio Stable Diffusion.
O novo aplicativo, chamado OP-Z Stable Diffusion, traduz a música em uma explosão de imagens animadas. Tudo o que você precisa para fazê-lo funcionar é o sintetizador de mídia OP-Z da Teenage Engineering conectado à porta USB do seu computador.
Basta colocar uma música para tocar e as imagens vão se transformando suavemente umas nas outras como se estivessem vivas, seguindo o tom, as notas, o ritmo e as batidas por minuto da música. É um show alucinante, como se a IA tivesse engolido alguns cogumelos e algumas gotas de LSD puro.
Cores selvagens piscam e circulam, objetos como árvores, tigres e borboletas se materializam do nada, transformando-se em imagens abstratas que se contorcem e se deformam na próxima imagem. É uma viagem por formas florais que eu não via desde... a tela de exibição do iTunes?
Mas não, esse aplicativo é diferente daquelas velhas animações dos computadores de 20 anos atrás. Embora o resultado até possa lembrar uma versão mais sofisticada dos protetores de tela de música da Apple, ele é mais do que isso.
“Não se trata de criar imagens aleatoriamente e de justapô-las à música”, diz Bas Van De Poel, cofundador e diretor de inovação da Modem. “Caso contrário, seria apenas como as imagens psicodélicas de visualização do Winamp.”
Para quem ainda era muito novinho nos anos 90, Van De Poel está se referindo ao MP3 player que mostrava animações surreais e coloridas seguindo o ritmo de qualquer música. Só que em vez disso, ele me explicou, a difusão estável OP-Z segue os princípios da sinestesia.
UMA VIAGEM AO CÉREBRO
A sinestesia em si é selvagem. Para quem tem essa habilidade, isso realmente as faz enxergar coisas que não existem. Algumas pessoas veem um flash de cor diante dos olhos quando ouvem palavras específicas. Outras ouvem música e experimentam diferentes formas, cores e movimentos bem na frente delas.
Trabalhando com o desenvolvedor criativo Bureau Cool, Van De Poel e sua equipe usaram as teorias da sinestesia desenvolvidas por especialistas, médicos e outros que documentaram ou experimentaram essa condição – como o neurologista Richard E. Cytowic, o psicólogo Stephen Palmer e o compositor Olivier Messiaen – para criar o show de luzes.
O aplicativo transforma tom, notas, ritmo e BPM em prompts de texto que são alimentados no Stable Diffusion.
O tom da música, por exemplo, é traduzido em informações qualificadoras, com palavras como escuro, misterioso, sombrio, claro, luminoso ou vívido.
As claves são representadas por cores primárias e algum objeto associado (um sol sustenido, por exemplo, se transformará em um “amanhecer laranja”). As notas definem as cores secundárias, e assim por diante.
O resultado é bem louco se você pensar que está vendo algo parecido com o que as pessoas que têm sinestesia enxergam.
Embora o aplicativo não funcione em tempo real de verdade – porque, de acordo com Van De Poel, o poder de processamento ainda não existe – é uma demonstração brilhante do potencial infinito que essas IAs generativas têm para nos aproximar do Big Bang criativo que nos espreita logo ali, dobrando a esquina.
