Google transforma Gemini em assistente visual com orientações em tempo real

Nova função ajuda pessoas cegas ou com baixa visão a interpretar informações visuais em tempo real

Gemini
Ferramenta transforma o celular em um assistente visual com descrições e orientações por áudio. (Créditos: Unsplash/Google)

Lilian Campos 2 minutos de leitura
Favoritar no Google

O Google ampliou as funções de acessibilidade do Gemini Live com o Guided Vision, recurso que usa a câmera do celular para descrever ambientes, identificar objetos e orientar o usuário em tarefas cotidianas. 

A ferramenta transforma a inteligência artificial em uma espécie de assistente visual, capaz de responder a perguntas e dar instruções por voz enquanto a pessoa movimenta o aparelho.

Disponível em dispositivos Android compatíveis, a novidade atende especialmente pessoas cegas ou com baixa visão. O recurso também ajuda quem precisa interpretar informações visuais no dia a dia.

Leia também: Samsung, Google e Gentle Monster lançam óculos inteligentes com Gemini

COMO FUNCIONA O GUIDED VISION?

Com o Guided Vision ativado, o usuário compartilha a câmera durante uma conversa no Gemini Live. A inteligência artificial analisa o que aparece na imagem e oferece descrições em áudio. Também permite fazer perguntas adicionais sobre os elementos identificados.

Um diferencial está na orientação do enquadramento. Se a câmera estiver muito próxima, apontada para cima ou deslocada para o lado, o Gemini pode pedir que a pessoa afaste o celular, incline o aparelho ou movimente a câmera para encontrar o objeto.

Entre as funções principais, estão:

  • Ler letras pequenas em embalagens;
  • Identificar informações em painéis de eletrodomésticos;
  • Consultar cardápios em ambientes pouco iluminados;
  • Localizar objetos, como um fone que caiu no chão. 

A ferramenta também pode descrever cores, formatos, padrões de roupas e a disposição de móveis em um ambiente.

PROJETO ENVOLVEU PESSOAS COM DEFICIÊNCIA VISUAL NA CRIAÇÃO

O Google desenvolveu a funcionalidade em colaboração com a Aira, serviço de interpretação visual, e contou com a participação de mais de mil integrantes da rede Trusted Tester para testar e aperfeiçoar o sistema. 

A empresa afirmou ter reunido dezenas de milhares de horas de dados de interpretação visual para treinar o Gemini Live.

Segundo o Google, os testes incluíram contribuições de comunidades de pessoas cegas e com baixa visão de países como Brasil, Índia, Singapura, Indonésia e Japão. 

A ferramenta oferece conversas em diferentes idiomas e pode ser ativada nas configurações do aplicativo Gemini, na opção Guided Vision em Live. O recurso está disponível em aparelhos com Android 9 ou versões superiores, nos locais e idiomas compatíveis com o Gemini Live. No entanto, a IA pode cometer erros. 

Por isso, a ferramenta não substitui bengalas, recursos de mobilidade ou orientações específicas para deslocamento e não deve ser usada para detectar obstáculos ou orientar trajetos.

Leia também: Google aposta alto com Gemini 4 Argon, novo rival de Claude e GPT

TECNOLOGIA AMPLIA RECURSOS DE ACESSIBILIDADE

A iniciativa acompanha outros movimentos do setor de tecnologia para tornar serviços digitais mais acessíveis. A Apple, por exemplo, lançou no Apple TV um recurso de interpretação em línguas de sinais, que permite acompanhar filmes e séries compatíveis com um intérprete integrado à tela.

A novidade estreou em na última sexta-feira (13) com opções em Língua de Sinais Americana (ASL) e Língua de Sinais Britânica (BSL). As interpretações foram desenvolvidas e testadas por pessoas surdas e profissionais nativos dessas línguas, com atenção ao contexto e às emoções de cada produção.


SOBRE A AUTORA

Lilian Campos é jornalista colaboradora da Fast Company Brasil. saiba mais