논문리뷰/Vision Transformer(7)
-
[논문 리뷰] Stand-Alone Self-Attention in Vision Models
Vision Transformer가 나오기 이전에도 self-attention을 computer vision 분야에 접목시키려는 많은 시도들이 있었다. 이번 논문은 그중에서 처음으로 self-attention만을 사용해서 모델을 만들었다. https://arxiv.org/abs/1906.05909 Stand-Alone Self-Attention in Vision Models Convolutions are a fundamental building block of modern computer vision systems. Recent approaches have argued for going beyond convolutions in order to capture long-range dependencies. T..
2022.03.09 -
[논문 리뷰] An Image is Worth 16x16 Words: Transformers for image Recognition at scale(VIT)
최근들어 필자가 가장 많은 관심을 가지고 있는 vision transformer가 처음 등장하는 논문이다. 물론 이 논문 이전에도 transformer를 vision 분야에 적용한 시도들이 있었지만, 실제로 vision분야에서 transformer가 널리 알려지게 된 것은 이 논문부터라고 해도 과언이 아니다. 한번 vision transformer를 뿌셔보자!! 1. Introduction Transformer in NLP Transformers는 NLP에서 먼저 언급된 개념이고 지금까지 dominant하게 쓰이는 approach이다. 기존에 NLP에서는 Sequence model(ex. RNN, LSTM)이 많이 사용되었는데 그러한 모델들은 순차적으로 token들을 넣어주어야 하기 때문에 gpu처리가 ..
2022.03.07