@@hyunkim2172 live portrait는 audio driven이 아닙니다. face landmark 기반으로 얼굴을 생성해주기 때문에 talking head와는 직접적으로는 관련이 없습니다. 그것과 별개로 Liveportrait는 매우 좋은 기술이죠. 저희도 영상에서 AI아바타 움직일때 애용하고 있으며 저희가 개인적으로 디벨롭해서 사용중에 있습니다
@@ENDPLAN 네... 그런데 live portrait의 driving video 대신, audio driven으로 motion template을 바로 생성할 수 있도록 VQ-VAE를 학습시켜 사용했습니다. ^^ 즉 talking head로 mesh video 생성한 후 이를 live portrait에서의 driving video로 사용하게 되면, 지연 시간이 길어지므로 이를 생략하는 방식입니다.
요즘 숏폼 쇼핑 영상에도 사용할려는 움직임이 있습니다. 저도 다른 분들과 같이 비슷하게 AI 쇼호스트를 연구 중이에요.
오 AI 쇼호스트는 궁금하네요! 물건을 어떻게 소개해줄지 기대가 됩니다.
언급된 토킹헤드 관련해서 작업했던 샘플 입니다. (audio driven liveportrait)
ua-cam.com/users/shortsz6hGZCVTvfw?feature=share
샘플 003 --> ua-cam.com/users/shortsqWnWqynWgDc
@@hyunkim2172 live portrait는 audio driven이 아닙니다. face landmark 기반으로 얼굴을 생성해주기 때문에 talking head와는 직접적으로는 관련이 없습니다.
그것과 별개로 Liveportrait는 매우 좋은 기술이죠. 저희도 영상에서 AI아바타 움직일때 애용하고 있으며 저희가 개인적으로 디벨롭해서 사용중에 있습니다
@@ENDPLAN 네... 그런데 live portrait의 driving video 대신, audio driven으로 motion template을 바로 생성할 수 있도록 VQ-VAE를 학습시켜 사용했습니다. ^^
즉 talking head로 mesh video 생성한 후 이를 live portrait에서의 driving video로 사용하게 되면, 지연 시간이 길어지므로 이를 생략하는 방식입니다.
아 직접 학습을 해서 motion template을 만드셨다는 뜻이군요? 링크만 올리셔서 거기까지는 생각못했네요.
논문에서 제안한 whisper-Faceformer가 아닌 VQ-vae를 사용하신 이유가 있을까요?
아니 AI Life 채널도 진작홍보해주시지 그러셨어요 바로구독
와 너무 감사합니다 ㅎㅎ 라이프 채널에서도 자주 봬요 ㅎㅎ
유용한 내용들 제공해주셔서 잘보고있습니다. 근데 캐릭터는 눈도 안깜빡거리고 생김새가 조금 불쾌한 골짜기에요ㅠ 제발 차라리 귀여운 캐릭터 같은 거로 바꿔주세요
눈 깜빡거리는 문제는 해결해보려고 합니다 ㅎㅎ 피드백 감사해요~