이번에 pytorch로 multi-gpu를 사용할 일이 생겨서 알아보게 되었다. 방법은 매우 간단하니 한번 살펴보자! ㅎㅎ NGPU = torch.cuda.device_count() device = torch.device("cuda" if torch.cuda.is_available() else "cpu") if NGPU > 1: self.model = torch.nn.DataParallel(self.model, device_ids=list(range(NGPU))) torch.multiprocessing.set_start_method('spawn') self.model.to(device) 간단하게 살펴보면 torch.cuda.device_count()는 현재 할당된 gpu 개수를 의미한다. 따라서 이 개수..

이번에 Vision Transformer를 사용할 기회가 생기면서 Pretrained model에 대해서 알아보았다. 방법은 매우 간단하니 누구든 따라할 수 있을 것이다!! Official Github 바로 모델만 사용하여 학습을 해야하는 것이 아니라 모델이 어떠한 구조로 이루어져있는지 또는 pretrained model이 필요없다면 다음 official github를 참고하는 것을 추천한다. https://github.com/lucidrains/vit-pytorch GitHub - lucidrains/vit-pytorch: Implementation of Vision Transformer, a simple way to achieve SOTA in vision classification wit Imple..

Pytorch를 이용해서 분류문제에서 사용하는 여러가지 backbone 논문을 구현하는 시간을 가지려고 한다. 네트워크에 대한 논문 리뷰는 따로 하지 않고 구현을 하면서 간단한 설명만 할 예정이다. $\triangledown$ Resnet paper https://arxiv.org/abs/1512.03385 Deep Residual Learning for Image Recognition Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previous..

Pytorch에 대한 모델 아키텍처 구현을 하기 전에 dataset 객체를 만드는 방법을 먼저 소개하려 한다. 방법은 어렵지 않지만 batch단위의 training과 보기 좋은 전처리를 하기 위해서 꼭 필요한 과정이다. 큰 틀은 다음과 같다. from torch.utils.data import Dataset class CustomDataset(Dataset): def __init__(self): '''init some parameters''' def __len__(self): '''return length of datas''' def __getitem__(self, index): '''return data with preprocessing if needed''' 먼저 Dataset 모듈을 import ..

이번에는 Dacon에서 개최한 교통 수신호 동작 인식 AI 경진대회에 참여를 하였다. Action Recognition Task를 한번도 경험해보지 못했기 때문에 어떤 식으로 문제를 풀어나갈지 두렵기도 하면서 동시에 흥미로웠다. ㅎㅎ... 참조: https://www.semanticscholar.org/paper/Chapter-9-Action-Recognition-in-Realistic-Sports-Soomro-Zamir/a000149e83b09d17e18ed9184155be140ae1266e 먼저 같은 경진대회에 참여하는 분들과 팀도 맺었고, 회의를 통해서 어떻게 문제를 풀 것인가 토의를 하였다. 분류 문제나 object 인식 문제와는 다르게 연속적인 이미지에 대한 예측이기 때문에 어떠한 시계열적인 모..