이번 글에서 다룰 주제는 DDPM으로 최근 세간에 생성 모델로 많이 알려지게 된 Diffusion 모델의 초기 기폭제가 된 논문이다. 물론 Diffusion이라는 개념 자체는 2015년 논문에 처음 등장하였지만 그 때 당시 성능이 크게 좋지 못해 주목받지 못하였다. 하지만 Jonathan Ho님께서 이 개념을 발전시켜 생성모델에서 엄청난 성능과 학습 안정성을 가지도록 만들었으니...그것이 DDPM되겠다. 논문 리뷰라고 적어놓았지만 실질적으로 전반적인 내용과 그 수식에 대한 정리글이다. 수식에 대해서는 블로그와 권민기님의 유튜브를 많이 참고하였으니 해당 레퍼런스는 마지막 부분에 달아놓겠다.1. How the Diffusion works? 수식을 들어가기 앞서 Diffusion이 전반적으로 어떻게 돌아가는 ..

최근까지 진행하던 연구가 마무리되면서, 새로운 주제를 탐색하던 중 "Diffusion"에 큰 관심이 생겼다. 현재는 Diffusion의 근본 논문들을 공부하고 있는데, 수학적인 내용이 많아 정리가 필요한 부분도 있다. 이 부분은 나중에 기회가 되면 따로 글로 정리해볼 생각이다. 이번에 소개할 논문은 ICLR 2024에서 Oral 발표로 선정된 "An Efficient Architecture for Large-scale Text-to-image Diffusion Models"이고, 소제목으로 ‘Würstchen’이라는 이름이 붙어 있다. 제목에서 알 수 있듯이, 이 논문은 Text-to-image Diffusion 모델을 어떻게 하면 더 효율적인 아키텍처로 만들 수 있을까에 대해 다루고 있다. https:..