이번에는 신경망을 학습할 때 알아두어야할 핵심 요소들을 설명하겠다. 신경망 학습은 이전에 말했던 것처럼 loss 값이 작아지도록 가중치를 최적화하는 것을 말한다. 그렇다면 이제 어떻게 가중치를 최적화 하는지를 알아야한다. 이 가중치를 최적화 하는 모듈을 Optimizer라 하며, 머신러닝, 딥러닝이 발전하기 시작한 때부터 많이 발전해오면서 종류가 매우 다양하다. 이 글에서는 그 종류에 대해서는 다루지 않고, 핵심인 Gradient Descent Algorithm에 대해 얘기하도록 하겠다. 1. Gradient Descent Algorithm 이전에 Cost함수에 대해 짧게 이야기한 적이 있다. 보통 Convex함수가 사용되고, 이 함수의 값인 loss가 작아지도록 가중치(W, b)를 갱신해 나가는 것이 ..

학습을 얼마나 잘하냐에 따라서 모델의 성능이 달라지니 매우 중요한 부분이라고 할 수 있다. 학습에서 가장 중요한 것은 다름아닌 데이터이다. 데이터가 곧 머신러닝이다 라고 말해도 과언이 아니다. **물론 적은 데이터나 불규칙한 데이터로도 학습이 가능하게 하는 연구도 있으나 데이터는 학습에 핵심이라는 것은 진리이다. 이번 글에서는 학습의 개념과 데이터와의 관계, 또 머신러닝에서의 데이터 세분화를 살펴볼 것이다. 1. 신경망 학습 신경망에서 학습이란, 간단하게 말해 최적의 가중치 매개변수를 찾는 과정이라고 할 수 있다. 분류문제를 예로 들어보자, 나는 강아지 이미지가 input으로 들어가면 0, 고양이 이미지는 1을 내보내주는 모델을 만들고 싶다. **input 이미지는 (width, height, 3)의 3..