[알좋지] Re-parameterization

VAE (Variational Auto Encoder)나 Diffusion에서 학습할 때 사용되는 기법 중 하나인 "Re-parameterization"이란 무엇이고 왜 사용되는가? Re-parameterization을 사용하지 않는다면?VAE에서 latent vector z를 $\mathcal{N}(\mu, \sigma^2)$에서 샘플링해야 한다!  문제는 이러한 샘플링에 대한 식은 stochasitc하기 때문에 미분이 불가능! => 학습이 불가능... Re-parameterization의 등장 Re-parameterization이란, 기존의 확률적 변수 샘플링 방식 $(z \sim q(z|x))$을 다른 형태로 다시 parameterize하는 것을 말한다.  위에서 말했듯이, normal distri..

최근까지 진행하던 연구가 마무리되면서, 새로운 주제를 탐색하던 중 "Diffusion"에 큰 관심이 생겼다. 현재는 Diffusion의 근본 논문들을 공부하고 있는데, 수학적인 내용이 많아 정리가 필요한 부분도 있다. 이 부분은 나중에 기회가 되면 따로 글로 정리해볼 생각이다. 이번에 소개할 논문은 ICLR 2024에서 Oral 발표로 선정된 "An Efficient Architecture for Large-scale Text-to-image Diffusion Models"이고, 소제목으로 ‘Würstchen’이라는 이름이 붙어 있다. 제목에서 알 수 있듯이, 이 논문은 Text-to-image Diffusion 모델을 어떻게 하면 더 효율적인 아키텍처로 만들 수 있을까에 대해 다루고 있다. https:..

이번에 준비하고 있는 논문을 위해서 아이디어가 나올 때마다 실험을 하고 있는데, 이번에 어째서인지 loss가 잘 떨어지다가 중간에 nan 값이 되어버리는 문제가 발생하였다... 처음부터 튀어버리면 loss 함수 자체에서 문제가 발생했다고 생각했겠지만 감소 중에 nan 값으로 바뀐 것이기 때문에 원인 파악이 어려웠다. 이럴 땐 뭐다? 바로 구글링을 하는 것이다.*요즘엔 ChatGPT도 하나의 방법! 그래서 찾아보니,torch.autograd.set_detect_anomaly(True) 자동으로 nan값이 나오는 곳을 찾아주는 명령어가 있지 않았겠는가! 이 명령어를 써놓기만 해도 nan값이 출력되는 순간 어느 backward에서 발생한건지 예쁘게 출력해준다! 내 경우에는 Pow와 관련있었는데, 최근 추가했던..

최근 연구로 인해 시간이 좀처럼 나지 않아 이제야 논문 리뷰 글을 작성하게 되었다....사실 세미나나 수업에서 정리해놓은 자료들이 몇 개 쌓여있는데 시간이 날 때마다 글로 올리도록 노력... 이번에 리뷰해볼 논문은 "Segment Anything" 이라는 제목을 내세우고 나온 만큼 Segmentation 관련된 여러 task에 대해서 공통적으로 사용될 수 있는 Foundation 모델을 만드는 것을 목표로 가지고 있다. 최근은 아니고 1-2년 정도에 압도적인 성능과 범용성으로 화제가 되었던 논문이기도 하다!  https://openaccess.thecvf.com/content/ICCV2023/papers/Kirillov_Segment_Anything_ICCV_2023_paper.pdf  1. Introd..

이번에 소개할 논문은 ICLR 2022 spotlight를 받은 How do Vision Transformer Work? 라는 논문이다.https://arxiv.org/abs/2202.06709 How Do Vision Transformers Work?The success of multi-head self-attentions (MSAs) for computer vision is now indisputable. However, little is known about how MSAs work. We present fundamental explanations to help better understand the nature of MSAs. In particular, we demonstrate the folla..