[논문 리뷰] Stand-Alone Self-Attention in Vision Models

Vision Transformer가 나오기 이전에도 self-attention을 computer vision 분야에 접목시키려는 많은 시도들이 있었다. 이번 논문은 그중에서 처음으로 self-attention만을 사용해서 모델을 만들었다. https://arxiv.org/abs/1906.05909 Stand-Alone Self-Attention in Vision Models Convolutions are a fundamental building block of modern computer vision systems. Recent approaches have argued for going beyond convolutions in order to capture long-range dependencies. T..

2022.03.09