티스토리

인공지능 스터디룸
검색하기

블로그 홈

인공지능 스터디룸

aistudy9314.tistory.com/m

인공지능 관련하여 스터디하면서 서로 정보를 공유하고 배워가는 블로그입니다. 잘부탁드립니다.

구독자
35
방명록 방문하기
공지 코드 관련 Github 주소 모두보기
반응형

주요 글 목록

  • [논문 리뷰] How do Vision Transformer Work? 이번에 소개할 논문은 ICLR 2022 spotlight를 받은 How do Vision Transformer Work? 라는 논문이다.https://arxiv.org/abs/2202.06709 How Do Vision Transformers Work?The success of multi-head self-attentions (MSAs) for computer vision is now indisputable. However, little is known about how MSAs work. We present fundamental explanations to help better understand the nature of MSAs. In particular, we demonstrate the folla.. 공감수 0 댓글수 0 2023. 11. 30.
  • [논문 리뷰] GroupViT 정말 오랫만에 논문 리뷰글을 쓰려고 한다. 최근 블로그를 하지 못했는데 논문을 발표할 기회가 생겨서 겸사 블로그에도 글을 정리하려고 한다. 이번에 리뷰할 논문은 GroupViT: Semantic Segmentation Emerges from Text Supervision이다. https://arxiv.org/abs/2202.11094 GroupViT: Semantic Segmentation Emerges from Text Supervision Grouping and recognition are important components of visual scene understanding, e.g., for object detection and semantic segmentation. With end-to-e.. 공감수 1 댓글수 2 2023. 4. 28.
  • [논문 리뷰] SwinIR: Image Restoration Using Swin Transformer 2020년에 Vision Transformer가 등장하면서 많은 vision task에서 transformer를 사용한 모델이 매우 좋은 성과를 보이고 있다. 본 논문에서는 Swin Transformer와 여러 structural design을 통해서 attention-based architecture가 image reconstruction tasks (ex. denoising, super-resolution, compression)에서 SOTA성능을 낼 수 있다는 것을 보여준다. https://arxiv.org/abs/2108.10257 SwinIR: Image Restoration Using Swin Transformer Image restoration is a long-standing low-lev.. 공감수 2 댓글수 0 2022. 6. 22.
  • [논문 리뷰] Tokens-to-Token ViT 이번에 소개할 논문은 Tokens-to-Token ViT라는 논문이다. https://arxiv.org/abs/2101.11986 Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet Transformers, which are popular for language modeling, have been explored for solving vision tasks recently, e.g., the Vision Transformer (ViT) for image classification. The ViT model splits each image into a sequence of tokens with fixed length and .. 공감수 0 댓글수 0 2022. 5. 5.
  • [논문 리뷰] Not all images are worth 16x16 words 이번에 소개할 논문은 제목에서 알 수 있듯이, 모든 이미지를 똑같은 patch size로 나눌 필요가 없다!라는 주제를 가지고 있다. ViT는 patch size를 달리하였을 때 더 많은 tokens이 만들어졌을 때 더 높은 성능을 보여주나 computational cost가 급격하게 증가하는 단점을 가지고 있다. 저자는 이미지가 저마다 가지고 있는 특성이 다르기 때문에 각각에 대해서 token의 개수를 dynamic하게 정해줌으로써 위와 같은 문제점을 완화할 수 있다고 주장한다. 본 논문으로 들어가보자! https://arxiv.org/abs/2105.15075 Not All Images are Worth 16x16 Words: Dynamic Transformers for Efficient Image .. 공감수 0 댓글수 0 2022. 5. 5.
  • [논문리뷰] Attention Augmented Convolutional Networks 1. Introduction 1.1 Convolutional Neural Network(CNN) CNN은 computer vision에서 높은 성능을 보여주면서 dominant한 mechanism으로 자리잡았다. 이렇게 CNN이 이미지 task에최적화된 성능을 낼 수 있는 이유는 1) 일정 크기의 kernel을 통한 sliding 방식으로 receptive field를 제한하여 "locality"를 가지는 점과 2) weight sharing을 통한 translation equivariance 특성이 있다. 하지만 이러한 convolutional kernel의 locality로 인해서 이미지의 global contexts를 잡아내기 힘들다는 단점도 존재한다. >> locality가 좋은 이유는 어떠한 .. 공감수 0 댓글수 0 2022. 3. 24.
  • [논문 리뷰] Stand-Alone Self-Attention in Vision Models Vision Transformer가 나오기 이전에도 self-attention을 computer vision 분야에 접목시키려는 많은 시도들이 있었다. 이번 논문은 그중에서 처음으로 self-attention만을 사용해서 모델을 만들었다. https://arxiv.org/abs/1906.05909 Stand-Alone Self-Attention in Vision Models Convolutions are a fundamental building block of modern computer vision systems. Recent approaches have argued for going beyond convolutions in order to capture long-range dependencies. T.. 공감수 1 댓글수 0 2022. 3. 9.
  • [논문 리뷰] An Image is Worth 16x16 Words: Transformers for image Recognition at scale(VIT) 최근들어 필자가 가장 많은 관심을 가지고 있는 vision transformer가 처음 등장하는 논문이다. 물론 이 논문 이전에도 transformer를 vision 분야에 적용한 시도들이 있었지만, 실제로 vision분야에서 transformer가 널리 알려지게 된 것은 이 논문부터라고 해도 과언이 아니다. 한번 vision transformer를 뿌셔보자!! 1. Introduction Transformer in NLP Transformers는 NLP에서 먼저 언급된 개념이고 지금까지 dominant하게 쓰이는 approach이다. 기존에 NLP에서는 Sequence model(ex. RNN, LSTM)이 많이 사용되었는데 그러한 모델들은 순차적으로 token들을 넣어주어야 하기 때문에 gpu처리가 .. 공감수 1 댓글수 0 2022. 3. 7.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.