Como funciona a sincronização labial
A sincronização labial pega um vídeo de origem e uma nova faixa de áudio, e então atualiza os movimentos da boca do orador para que correspondam melhor à fala traduzida.O que muda e o que permanece igual
VoiceCheap foca na região do rosto que fala. Na prática:- o movimento da boca e da parte inferior do rosto são atualizados
- o áudio de destino impulsiona o novo movimento da boca
- o restante do quadro permanece o mais intacto possível
O pipeline de alto nível
1
Detectar o rosto
VoiceCheap identifica o rosto que fala e rastreia os pontos faciais relevantes ao redor da boca e da parte inferior do rosto.
2
Analisar o áudio traduzido
O sistema ouve o áudio de destino e calcula os formatos de boca necessários para corresponder à fala.
3
Gerar novo movimento labial
A região da fala é regenerada quadro a quadro para corresponder mais precisamente ao áudio traduzido.
4
Mesclar o resultado de volta ao vídeo
A região da boca gerada é composta de volta ao quadro original para que o resultado permaneça visualmente coerente.
Onde a sincronização labial se encaixa no fluxo de trabalho
A sincronização labial não é a primeira etapa de qualidade. A ordem usual é:- corrigir a transcrição
- escolher a estratégia de voz
- garantir que o áudio da dublagem soe natural
- adicionar sincronização labial se o projeto se beneficiar disso
Limitações a considerar
- vistas de perfil acentuadas são mais difíceis do que tomadas de frente
- obstruções pesadas ao redor da boca reduzem a qualidade
- filmagens tremidas reduzem a confiabilidade do rastreamento facial
- áudio com ruído ou sobreposto pode reduzir a naturalidade do resultado final