[알좋지] Re-parameterization

 

 

VAE (Variational Auto Encoder)나 Diffusion에서 학습할 때 사용되는 기법 중 하나인 "Re-parameterization"이란 무엇이고 왜 사용되는가?

 

Re-parameterization을 사용하지 않는다면?

VAE에서 latent vector z를 $\mathcal{N}(\mu, \sigma^2)$에서 샘플링해야 한다! 

 

문제는 이러한 샘플링에 대한 식은 stochasitc하기 때문에 미분이 불가능! => 학습이 불가능...

 

Re-parameterization의 등장

https://dilithjay.com/blog/the-reparameterization-trick-clearly-explained

 

Re-parameterization이란, 기존의 확률적 변수 샘플링 방식 $(z \sim q(z|x))$을 다른 형태로 다시 parameterize하는 것을 말한다. 

 

위에서 말했듯이, normal distribution에 대한 샘플링 식은 미분이 불가능하기 때문에 이를 미분 가능한 식으로 만들어줄 필요가 있는데...

 

Normal distribution은 affine transformation에 항상 닫혀 있다는 성질로부터 $\mathcal{N}(\mu, \sigma^2)$는 항상 $\mu + \sigma * \epsilon$형태로 표현이 가능하고! 이는 deterministic한 function과 noise로 분리가 된 식이기 때문에 $\mu$와 $\sigma$에 대해서 미분이 가능해짐과 동시에 학습이 가능해지는 것이다!

 

만약 샘플링 하는 분포가 정규분포를 따르지 않는다면?

위와 같은 re-parameterization이 통하지 않을 수 있다! 예를 들어, 미분 가능한 함수로 바꿀 수 없는  Bernoulli 분포는 적용이 안된다..