이번 글에서 다룰 주제는 DDPM으로 최근 세간에 생성 모델로 많이 알려지게 된 Diffusion 모델의 초기 기폭제가 된 논문이다. 물론 Diffusion이라는 개념 자체는 2015년 논문에 처음 등장하였지만 그 때 당시 성능이 크게 좋지 못해 주목받지 못하였다. 하지만 Jonathan Ho님께서 이 개념을 발전시켜 생성모델에서 엄청난 성능과 학습 안정성을 가지도록 만들었으니...그것이 DDPM되겠다. 논문 리뷰라고 적어놓았지만 실질적으로 전반적인 내용과 그 수식에 대한 정리글이다. 수식에 대해서는 블로그와 권민기님의 유튜브를 많이 참고하였으니 해당 레퍼런스는 마지막 부분에 달아놓겠다.1. How the Diffusion works? 수식을 들어가기 앞서 Diffusion이 전반적으로 어떻게 돌아가는 ..

VAE (Variational Auto Encoder)나 Diffusion에서 학습할 때 사용되는 기법 중 하나인 "Re-parameterization"이란 무엇이고 왜 사용되는가? Re-parameterization을 사용하지 않는다면?VAE에서 latent vector z를 $\mathcal{N}(\mu, \sigma^2)$에서 샘플링해야 한다!  문제는 이러한 샘플링에 대한 식은 stochasitc하기 때문에 미분이 불가능! => 학습이 불가능... Re-parameterization의 등장 Re-parameterization이란, 기존의 확률적 변수 샘플링 방식 $(z \sim q(z|x))$을 다른 형태로 다시 parameterize하는 것을 말한다.  위에서 말했듯이, normal distri..

최근까지 진행하던 연구가 마무리되면서, 새로운 주제를 탐색하던 중 "Diffusion"에 큰 관심이 생겼다. 현재는 Diffusion의 근본 논문들을 공부하고 있는데, 수학적인 내용이 많아 정리가 필요한 부분도 있다. 이 부분은 나중에 기회가 되면 따로 글로 정리해볼 생각이다. 이번에 소개할 논문은 ICLR 2024에서 Oral 발표로 선정된 "An Efficient Architecture for Large-scale Text-to-image Diffusion Models"이고, 소제목으로 ‘Würstchen’이라는 이름이 붙어 있다. 제목에서 알 수 있듯이, 이 논문은 Text-to-image Diffusion 모델을 어떻게 하면 더 효율적인 아키텍처로 만들 수 있을까에 대해 다루고 있다. https:..

이번에 준비하고 있는 논문을 위해서 아이디어가 나올 때마다 실험을 하고 있는데, 이번에 어째서인지 loss가 잘 떨어지다가 중간에 nan 값이 되어버리는 문제가 발생하였다... 처음부터 튀어버리면 loss 함수 자체에서 문제가 발생했다고 생각했겠지만 감소 중에 nan 값으로 바뀐 것이기 때문에 원인 파악이 어려웠다. 이럴 땐 뭐다? 바로 구글링을 하는 것이다.*요즘엔 ChatGPT도 하나의 방법! 그래서 찾아보니,torch.autograd.set_detect_anomaly(True) 자동으로 nan값이 나오는 곳을 찾아주는 명령어가 있지 않았겠는가! 이 명령어를 써놓기만 해도 nan값이 출력되는 순간 어느 backward에서 발생한건지 예쁘게 출력해준다! 내 경우에는 Pow와 관련있었는데, 최근 추가했던..

최근 연구로 인해 시간이 좀처럼 나지 않아 이제야 논문 리뷰 글을 작성하게 되었다....사실 세미나나 수업에서 정리해놓은 자료들이 몇 개 쌓여있는데 시간이 날 때마다 글로 올리도록 노력... 이번에 리뷰해볼 논문은 "Segment Anything" 이라는 제목을 내세우고 나온 만큼 Segmentation 관련된 여러 task에 대해서 공통적으로 사용될 수 있는 Foundation 모델을 만드는 것을 목표로 가지고 있다. 최근은 아니고 1-2년 정도에 압도적인 성능과 범용성으로 화제가 되었던 논문이기도 하다!  https://openaccess.thecvf.com/content/ICCV2023/papers/Kirillov_Segment_Anything_ICCV_2023_paper.pdf  1. Introd..