Transformer는 최근 들어 자연어 처리와 비전 분야 모두에서 월등한 성능을 보이면서 발전하고 있다. 이러한 Transformer를 처음으로 제안한 논문이 바로 "Attention is all you need"이 되시겠다 ㅎㅎ. 자연어 처리 수업을 들었을 때 처음 접했던 논문이지만 비전 쪽에서도 transformer를 많이 다루고, 필자도 연구에서 관련 모델을 사용해야 해서 리뷰를 한 번 해보려고한다. https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in..

지난 번에 이어서 C&W Attack 논문 리뷰를 하려고 한다. 이번 리뷰에서는 3가지 Distance-metric을 사용하여 만드는 강력한 attack 기법에 대한 설명과 그 기법들을 사용하여 defensive distillation을 어떻게 공격할 수 있고, 또 왜 이전 attack들은 그럴 수 없었는지를 설명하려고한다. 이를 읽기 전에 introduction과 강력한 attack을 만들기 위해 실험한 여러 기법들을 알고 싶다면 (1) 글을 먼저 보고 오길 바란다. https://aistudy9314.tistory.com/59 [논문 리뷰] Towards Evaluating the Robustness of Neural Networks(C&W Attack)(1) 지난 논문 리뷰에서 Defensive D..

지난 논문 리뷰에서 Defensive Distillation이라는 defense 기법을 알아보았다. 이 방법이 나왔을 당시 차세대 기법이라고 불릴 만큼 각광받는 defense 기법이었는데, 이를 깨버린 것이 CW Attack이 되겠다. **CW라는 이름은 저자 두명의 앞글자를 따서 만들었다. https://arxiv.org/abs/1608.04644 Towards Evaluating the Robustness of Neural Networks Neural networks provide state-of-the-art results for most machine learning tasks. Unfortunately, neural networks are vulnerable to adversarial examp..

오늘은 Fourier 관점에서의 attack논문인 F-mixup을 살펴보겠다. 나중에 보면 알겠지만 이 논문의 방식은 이전 리뷰한 Amplitude-Phase Recombination논문과 매우 유사하다. https://aistudy9314.tistory.com/50 [논문리뷰] Amplitude-Phase Recombination 요즘 딥러닝과 forier domain 사이의 관계 또는 조합 관련하여 논문을 읽고 있는데, 그 중 흥미로운 논문 하나를 리뷰하려고한다. https://arxiv.org/abs/2108.08487 Amplitude-Phase Recombination: Rethinking R.. aistudy9314.tistory.com 한번 살펴보도록 하자! https://ieeexplore..

Adversarial Attack이 있으니 당연히 Defense 기법도 존재한다. 이번 리뷰에서는 Defense 기법 중 하나인 "Defensive Distillation"을 소개할 것이다. 이 논문은 처음 나왔을 때 많은 사람들에게 관심받으며 차세대 defense 기법으로 각광 받았었다. 지금이야 C&W attack이나 PGD 등 여러 Attack이 등장하고 defensive distillation기법이 깨지면서 무뎌졌지만 말이다. https://arxiv.org/abs/1511.04508 Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks Deep learning algorithms have been s..