Transformer는 최근 들어 자연어 처리와 비전 분야 모두에서 월등한 성능을 보이면서 발전하고 있다. 이러한 Transformer를 처음으로 제안한 논문이 바로 "Attention is all you need"이 되시겠다 ㅎㅎ. 자연어 처리 수업을 들었을 때 처음 접했던 논문이지만 비전 쪽에서도 transformer를 많이 다루고, 필자도 연구에서 관련 모델을 사용해야 해서 리뷰를 한 번 해보려고한다. https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in..

이번에 Vision Transformer를 사용할 기회가 생기면서 Pretrained model에 대해서 알아보았다. 방법은 매우 간단하니 누구든 따라할 수 있을 것이다!! Official Github 바로 모델만 사용하여 학습을 해야하는 것이 아니라 모델이 어떠한 구조로 이루어져있는지 또는 pretrained model이 필요없다면 다음 official github를 참고하는 것을 추천한다. https://github.com/lucidrains/vit-pytorch GitHub - lucidrains/vit-pytorch: Implementation of Vision Transformer, a simple way to achieve SOTA in vision classification wit Imple..

Traditional Neural Network나 CNN은 Sequence Data에 대해서 좋은 성능을 내지 못하였다. 이러한 데이터들은 시간이나 순서에 중요한 정보를 가지고 있기 때문에 이러한 특성을 같이 포함시킬 수 있는 네트워크가 필요하였다. 그리고 그것이 바로 RNN이다. 1. RNN RNN은 시간이나 순서에 따른 처리를 해주기 위하여 등장하였다. 기본적으로 ANN의 형태를 가지지만, 이전 state 값 $s_{i-1}$가 현재 state 값 $s_i$를 계산할 때 사용된다는 점이 다르다. 각 state는 이전 정보를 함축하고 있고, 따라서 제일 마지막 $s_n$은 모든 정보를 포함하게 된다. $$ h_t = f_W(h_{t-1}, x_t)$$ 1.1 RNN Cell 기본적으로 RNN Cell은..

지난 번에 이어서 C&W Attack 논문 리뷰를 하려고 한다. 이번 리뷰에서는 3가지 Distance-metric을 사용하여 만드는 강력한 attack 기법에 대한 설명과 그 기법들을 사용하여 defensive distillation을 어떻게 공격할 수 있고, 또 왜 이전 attack들은 그럴 수 없었는지를 설명하려고한다. 이를 읽기 전에 introduction과 강력한 attack을 만들기 위해 실험한 여러 기법들을 알고 싶다면 (1) 글을 먼저 보고 오길 바란다. https://aistudy9314.tistory.com/59 [논문 리뷰] Towards Evaluating the Robustness of Neural Networks(C&W Attack)(1) 지난 논문 리뷰에서 Defensive D..

지난 논문 리뷰에서 Defensive Distillation이라는 defense 기법을 알아보았다. 이 방법이 나왔을 당시 차세대 기법이라고 불릴 만큼 각광받는 defense 기법이었는데, 이를 깨버린 것이 CW Attack이 되겠다. **CW라는 이름은 저자 두명의 앞글자를 따서 만들었다. https://arxiv.org/abs/1608.04644 Towards Evaluating the Robustness of Neural Networks Neural networks provide state-of-the-art results for most machine learning tasks. Unfortunately, neural networks are vulnerable to adversarial examp..