[알좋지] Re-parameterization

VAE (Variational Auto Encoder)나 Diffusion에서 학습할 때 사용되는 기법 중 하나인 "Re-parameterization"이란 무엇이고 왜 사용되는가? Re-parameterization을 사용하지 않는다면?VAE에서 latent vector z를 $\mathcal{N}(\mu, \sigma^2)$에서 샘플링해야 한다!  문제는 이러한 샘플링에 대한 식은 stochasitc하기 때문에 미분이 불가능! => 학습이 불가능... Re-parameterization의 등장 Re-parameterization이란, 기존의 확률적 변수 샘플링 방식 $(z \sim q(z|x))$을 다른 형태로 다시 parameterize하는 것을 말한다.  위에서 말했듯이, normal distri..

2025.03.31