최근까지 진행하던 연구가 마무리되면서, 새로운 주제를 탐색하던 중 "Diffusion"에 큰 관심이 생겼다. 현재는 Diffusion의 근본 논문들을 공부하고 있는데, 수학적인 내용이 많아 정리가 필요한 부분도 있다. 이 부분은 나중에 기회가 되면 따로 글로 정리해볼 생각이다. 이번에 소개할 논문은 ICLR 2024에서 Oral 발표로 선정된 "An Efficient Architecture for Large-scale Text-to-image Diffusion Models"이고, 소제목으로 ‘Würstchen’이라는 이름이 붙어 있다. 제목에서 알 수 있듯이, 이 논문은 Text-to-image Diffusion 모델을 어떻게 하면 더 효율적인 아키텍처로 만들 수 있을까에 대해 다루고 있다. https:..

최근 연구로 인해 시간이 좀처럼 나지 않아 이제야 논문 리뷰 글을 작성하게 되었다....사실 세미나나 수업에서 정리해놓은 자료들이 몇 개 쌓여있는데 시간이 날 때마다 글로 올리도록 노력... 이번에 리뷰해볼 논문은 "Segment Anything" 이라는 제목을 내세우고 나온 만큼 Segmentation 관련된 여러 task에 대해서 공통적으로 사용될 수 있는 Foundation 모델을 만드는 것을 목표로 가지고 있다. 최근은 아니고 1-2년 정도에 압도적인 성능과 범용성으로 화제가 되었던 논문이기도 하다!  https://openaccess.thecvf.com/content/ICCV2023/papers/Kirillov_Segment_Anything_ICCV_2023_paper.pdf  1. Introd..

이번에 소개할 논문은 ICLR 2022 spotlight를 받은 How do Vision Transformer Work? 라는 논문이다.https://arxiv.org/abs/2202.06709 How Do Vision Transformers Work?The success of multi-head self-attentions (MSAs) for computer vision is now indisputable. However, little is known about how MSAs work. We present fundamental explanations to help better understand the nature of MSAs. In particular, we demonstrate the folla..

정말 오랫만에 논문 리뷰글을 쓰려고 한다. 최근 블로그를 하지 못했는데 논문을 발표할 기회가 생겨서 겸사 블로그에도 글을 정리하려고 한다. 이번에 리뷰할 논문은 GroupViT: Semantic Segmentation Emerges from Text Supervision이다. https://arxiv.org/abs/2202.11094 GroupViT: Semantic Segmentation Emerges from Text Supervision Grouping and recognition are important components of visual scene understanding, e.g., for object detection and semantic segmentation. With end-to-e..

최근 논문 작업과 수업 등의 일들이 겹치면서 오랫만에 논문 리뷰 글을 쓰게 되었다. 이번에 리뷰할 논문은 "Patch-Fool: Are Vision Transformers Always Robust Against Adversarial Perturbations?" 이라는 제목의 논문이고, 본인이 Adversarial Attack과 Vision Transformer (ViT)에 관심이 있는 만큼 ViT의 adversarial robustness에 대한 내용을 담고 있다. https://arxiv.org/abs/2203.08392 Patch-Fool: Are Vision Transformers Always Robust Against Adversarial Perturbations? Vision transforme..