[논문 리뷰] Dreamfusion : Text to 3D using 2d diffusion

DREAMFUSION: TEXT-TO-3D USING 2D DIFFUSION, Ben Poole, arXiv2022, Google Resarch
가짜 연구소‪@pseudo-lab‬ 에서 23.06.15에 진행한 논문 리뷰 세미나입니다.
Text to 3D 모델에 대해 다룹니다.
블로그 글 : xoft.tistory.c...

[@daehwaa]

NeRF는 한장의 이미지가 아닌 여러장의 이미지를 input으로 받아서 주어진 시점에 scene에 대해서 inference하는 방법을 학습하는 모델로 이해하고 있습니다.
해당 논문에서는 하나의 이미지만으로 3D model을 inference하고 이를 바탕으로 rendering후 loss를 구하는 것으로 이해가 되는데요.
원래의 NeRF모델이 사용된게 맞을까요?

[@xoftt]

3D Gaussian Splatting(3DGS)와 NeRF를 구분하자면, DreamGaussian에서는 NeRF를 사용하고 있지 않습니다.
Diffusion model에 condition(=style 정보)으로 정면 이미지를 넣고 "Random 카메라 포즈"에서 3DGS으로 생성한 이미지를 Denoising UNet에 넣었을 때 나오는 noise값을 바탕으로 Loss를 만듭니다. 그리고 해당 Loss로 3DGS의 Parameter를 업데이트해주게 됩니다.
(DreamGaussian이 아닌) DreamFusion에서는 위 설명에서 3DGS가 아닌 NeRF를 사용합니다.