지난 논문 리뷰에서 Defensive Distillation이라는 defense 기법을 알아보았다. 이 방법이 나왔을 당시 차세대 기법이라고 불릴 만큼 각광받는 defense 기법이었는데, 이를 깨버린 것이 CW Attack이 되겠다. **CW라는 이름은 저자 두명의 앞글자를 따서 만들었다. https://arxiv.org/abs/1608.04644 Towards Evaluating the Robustness of Neural Networks Neural networks provide state-of-the-art results for most machine learning tasks. Unfortunately, neural networks are vulnerable to adversarial examp..

Pytorch를 이용해서 분류문제에서 사용하는 여러가지 backbone 논문을 구현하는 시간을 가지려고 한다. 네트워크에 대한 논문 리뷰는 따로 하지 않고 구현을 하면서 간단한 설명만 할 예정이다. $\triangledown$ Resnet paper https://arxiv.org/abs/1512.03385 Deep Residual Learning for Image Recognition Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previous..

오늘은 Fourier 관점에서의 attack논문인 F-mixup을 살펴보겠다. 나중에 보면 알겠지만 이 논문의 방식은 이전 리뷰한 Amplitude-Phase Recombination논문과 매우 유사하다. https://aistudy9314.tistory.com/50 [논문리뷰] Amplitude-Phase Recombination 요즘 딥러닝과 forier domain 사이의 관계 또는 조합 관련하여 논문을 읽고 있는데, 그 중 흥미로운 논문 하나를 리뷰하려고한다. https://arxiv.org/abs/2108.08487 Amplitude-Phase Recombination: Rethinking R.. aistudy9314.tistory.com 한번 살펴보도록 하자! https://ieeexplore..

Pytorch에 대한 모델 아키텍처 구현을 하기 전에 dataset 객체를 만드는 방법을 먼저 소개하려 한다. 방법은 어렵지 않지만 batch단위의 training과 보기 좋은 전처리를 하기 위해서 꼭 필요한 과정이다. 큰 틀은 다음과 같다. from torch.utils.data import Dataset class CustomDataset(Dataset): def __init__(self): '''init some parameters''' def __len__(self): '''return length of datas''' def __getitem__(self, index): '''return data with preprocessing if needed''' 먼저 Dataset 모듈을 import ..

기존 Deep Neural Network의 문제점 왜 이전의 DNN을 사용하지 않고 굳이 CNN이라는 새로운 개념을 만들어냈을까? 어떤 문제가 있는지 살펴보자. 고차원 input 데이터 먼저 input 이미지가 매우 고차원이다. 사람이 불편하지 않게 볼 수 있는 사이즈가 대략 256x256인데 color이미지면 차원만 256x256x3=196608이된다. 여기다 hidden layer를 추가하면 어떻게 될까? layer가 늘어날 때마다 parameter의 수가 기하급수적으로 늘어날 것이다. 이러한 문제로 인해 엄청난 계산량을 필요로 하고, 모델의 complexity도 높아져 overfitting이 일어날 수 있게 된다. Flexibility of Topology DNN은 1차원 벡터만을 사용할 수 있기 ..