Os pesquisadores do Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST) desenvolveram uma inteligência artificial que consegue identificar palavras a partir dos movimentos dos lábios em vídeos sem áudio. Batizado de DLLM-VSR, o sistema alcançou um novo recorde de precisão em testes de leitura labial por IA. A tecnologia ainda está em fase de desenvolvimento e não chegou ao público ou ao mercado.
O principal desafio desse tipo de ferramenta é diferenciar palavras que produzem movimentos labiais muito parecidos. É o caso das consoantes “p”, “b” e “m”, que podem ter aparências praticamente idênticas durante a fala. Para lidar com essa limitação, o DLLM-VSR utiliza um modelo de linguagem baseado em difusão (DLLM), que adota uma abordagem diferente das IAs tradicionais.
Os sistemas convencionais interpretam as palavras em sequência, da esquerda para a direita, o que pode influenciar o que vem depois. O DLLM-VSR segue outro caminho: identifica primeiro os termos sobre os quais tem maior confiança e usa essas palavras como referência para preencher as lacunas com informações das partes anteriores e posteriores da frase. O sistema também estima diferentes comprimentos possíveis para a frase com base na duração do vídeo, gera uma transcrição para cada opção e seleciona a versão mais plausível.
Nos testes, o DLLM-VSR registrou uma taxa de erro de palavras (WER) de 19,4% no benchmark LRS3, com treinamento baseado em 433 horas de vídeos rotulados. O resultado representa o melhor desempenho registrado entre os métodos treinados com o mesmo conjunto de dados. A métrica contabiliza palavras reconhecidas incorretamente, omitidas ou adicionadas durante a transcrição, mas não representa a porcentagem de conversas completas compreendidas corretamente.
:quality(85)/1df87bb2-d2bd-4a61-91b7-28b8b4d18ac6.jpg)
IA pode ser útil para melhorar a acessibilidade
A leitura labial automatizada pode abrir caminho para novos recursos de acessibilidade destinados a pessoas surdas ou com deficiência auditiva. Com a tecnologia, dispositivos poderiam converter conversas em texto a partir de imagens, mesmo quando não há gravação de áudio.
A ferramenta também pode ser útil em ambientes industriais e situações cotidianas com muito ruído, como restaurantes barulhentos ou locais com música alta, nos quais a comunicação por voz fica prejudicada.
O DLLM-VSR ainda precisa de ajustes antes de chegar ao mercado, principalmente para reduzir o consumo de processamento e funcionar em tempo real, sem conexão com a internet, em robôs e dispositivos vestíveis. A precisão também varia conforme os dados usados nos testes. Já a capacidade de interpretar conversas a partir de gravações de vídeo sem áudio levanta preocupações legítimas sobre a privacidade.
Se você gostou do conteúdo, talvez também se interesse por conferir “8 IAs gratuitas para criar voz”.
{{WHATSAPP_CHANNEL}}

