[인공지능 기초] 4. 신경망 학습

이번에는 신경망을 학습할 때 알아두어야할 핵심 요소들을 설명하겠다. 신경망 학습은 이전에 말했던 것처럼 loss 값이 작아지도록 가중치를 최적화하는 것을 말한다. 그렇다면 이제 어떻게 가중치를 최적화 하는지를 알아야한다. 이 가중치를 최적화 하는 모듈을 Optimizer라 하며, 머신러닝, 딥러닝이 발전하기 시작한 때부터 많이 발전해오면서 종류가 매우 다양하다. 이 글에서는 그 종류에 대해서는 다루지 않고, 핵심인 Gradient Descent Algorithm에 대해 얘기하도록 하겠다. 1. Gradient Descent Algorithm 이전에 Cost함수에 대해 짧게 이야기한 적이 있다. 보통 Convex함수가 사용되고, 이 함수의 값인 loss가 작아지도록 가중치(W, b)를 갱신해 나가는 것이 ..

2021.05.25