Pytorch를 이용해서 분류문제에서 사용하는 여러가지 backbone 논문을 구현하는 시간을 가지려고 한다. 네트워크에 대한 논문 리뷰는 따로 하지 않고 구현을 하면서 간단한 설명만 할 예정이다. $\triangledown$ Resnet paper https://arxiv.org/abs/1512.03385 Deep Residual Learning for Image Recognition Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previous..

오늘은 Fourier 관점에서의 attack논문인 F-mixup을 살펴보겠다. 나중에 보면 알겠지만 이 논문의 방식은 이전 리뷰한 Amplitude-Phase Recombination논문과 매우 유사하다. https://aistudy9314.tistory.com/50 [논문리뷰] Amplitude-Phase Recombination 요즘 딥러닝과 forier domain 사이의 관계 또는 조합 관련하여 논문을 읽고 있는데, 그 중 흥미로운 논문 하나를 리뷰하려고한다. https://arxiv.org/abs/2108.08487 Amplitude-Phase Recombination: Rethinking R.. aistudy9314.tistory.com 한번 살펴보도록 하자! https://ieeexplore..

Pytorch에 대한 모델 아키텍처 구현을 하기 전에 dataset 객체를 만드는 방법을 먼저 소개하려 한다. 방법은 어렵지 않지만 batch단위의 training과 보기 좋은 전처리를 하기 위해서 꼭 필요한 과정이다. 큰 틀은 다음과 같다. from torch.utils.data import Dataset class CustomDataset(Dataset): def __init__(self): '''init some parameters''' def __len__(self): '''return length of datas''' def __getitem__(self, index): '''return data with preprocessing if needed''' 먼저 Dataset 모듈을 import ..

기존 Deep Neural Network의 문제점 왜 이전의 DNN을 사용하지 않고 굳이 CNN이라는 새로운 개념을 만들어냈을까? 어떤 문제가 있는지 살펴보자. 고차원 input 데이터 먼저 input 이미지가 매우 고차원이다. 사람이 불편하지 않게 볼 수 있는 사이즈가 대략 256x256인데 color이미지면 차원만 256x256x3=196608이된다. 여기다 hidden layer를 추가하면 어떻게 될까? layer가 늘어날 때마다 parameter의 수가 기하급수적으로 늘어날 것이다. 이러한 문제로 인해 엄청난 계산량을 필요로 하고, 모델의 complexity도 높아져 overfitting이 일어날 수 있게 된다. Flexibility of Topology DNN은 1차원 벡터만을 사용할 수 있기 ..

Adversarial Attack이 있으니 당연히 Defense 기법도 존재한다. 이번 리뷰에서는 Defense 기법 중 하나인 "Defensive Distillation"을 소개할 것이다. 이 논문은 처음 나왔을 때 많은 사람들에게 관심받으며 차세대 defense 기법으로 각광 받았었다. 지금이야 C&W attack이나 PGD 등 여러 Attack이 등장하고 defensive distillation기법이 깨지면서 무뎌졌지만 말이다. https://arxiv.org/abs/1511.04508 Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks Deep learning algorithms have been s..