립싱크 작동 방식

립싱크는 소스 영상과 새로운 오디오 트랙을 가져와 번역된 음성에 더 잘 맞도록 화자의 입 모양을 업데이트합니다.

변경되는 것과 유지되는 것

VoiceCheap는 말하는 얼굴 영역에 집중합니다. 실제로는 다음과 같습니다:

얼굴 감지

VoiceCheap는 말하는 얼굴을 식별하고 입과 하관 주변의 관련 얼굴 랜드마크를 추적합니다.

번역된 오디오 분석

시스템은 대상 오디오를 듣고 음성에 맞추는 데 필요한 입 모양을 계산합니다.

새로운 립싱크 움직임 생성

말하는 영역을 프레임별로 다시 생성하여 번역된 오디오와 더 밀접하게 일치시킵니다.

결과를 비디오에 다시 합성

생성된 입 영역을 원래 프레임에 다시 합성하여 결과물이 시각적으로 일관성을 유지하도록 합니다.

립싱크는 품질 향상을 위한 첫 번째 단계가 아닙니다. 일반적인 순서는 다음과 같습니다:

번역된 음성이나 타이밍이 여전히 어색하다면 먼저 수정하세요. 립싱크는 오디오가 이미 잘 갖춰져 있을 때 가장 효과적입니다.