이번에는 신경망을 학습할 때 알아두어야할 핵심 요소들을 설명하겠다. 신경망 학습은 이전에 말했던 것처럼 loss 값이 작아지도록 가중치를 최적화하는 것을 말한다. 그렇다면 이제 어떻게 가중치를 최적화 하는지를 알아야한다. 이 가중치를 최적화 하는 모듈을 Optimizer라 하며, 머신러닝, 딥러닝이 발전하기 시작한 때부터 많이 발전해오면서 종류가 매우 다양하다. 이 글에서는 그 종류에 대해서는 다루지 않고, 핵심인 Gradient Descent Algorithm에 대해 얘기하도록 하겠다. 1. Gradient Descent Algorithm 이전에 Cost함수에 대해 짧게 이야기한 적이 있다. 보통 Convex함수가 사용되고, 이 함수의 값인 loss가 작아지도록 가중치(W, b)를 갱신해 나가는 것이 ..

과적합은 머신러닝에서 많이 등장하는 문제 중 하나이다. 주로 데이터가 너무 적거나 모델이 과도하게 복잡한 경우에 발생하게 된다. Over-Fitting(과적합)에 대해서 더 자세히 알아보도록 하자! 1. Over-Fitting(과적합) 과적합이란, train-set에 너무 과하게 모델이 최적화된 상태를 말한다. 모델이 over-fitting되면, train-set에서는 정확도가 매우 높게 나오지만 test-set에서는 낮은 정확도가 나온다. 한마디로 범용성이 없는 모델이 된다. 간단한게 Regression모델을 예로 들어보겠다. 이러한 문제를 완화시키기 위해서 다음과 같은 방법을 적용할 수 있다. 데이터를 추가 수집한다. feature의 개수를 줄인다. Regularization Early Stoppin..

학습을 얼마나 잘하냐에 따라서 모델의 성능이 달라지니 매우 중요한 부분이라고 할 수 있다. 학습에서 가장 중요한 것은 다름아닌 데이터이다. 데이터가 곧 머신러닝이다 라고 말해도 과언이 아니다. **물론 적은 데이터나 불규칙한 데이터로도 학습이 가능하게 하는 연구도 있으나 데이터는 학습에 핵심이라는 것은 진리이다. 이번 글에서는 학습의 개념과 데이터와의 관계, 또 머신러닝에서의 데이터 세분화를 살펴볼 것이다. 1. 신경망 학습 신경망에서 학습이란, 간단하게 말해 최적의 가중치 매개변수를 찾는 과정이라고 할 수 있다. 분류문제를 예로 들어보자, 나는 강아지 이미지가 input으로 들어가면 0, 고양이 이미지는 1을 내보내주는 모델을 만들고 싶다. **input 이미지는 (width, height, 3)의 3..

인공지능을 처음 접했던 것은 대학교 4학년 수업에서였다. 시키는 일만 하는 코딩만 배우다, 스스로 배우는 프로그램이라니...충격이였다. (그래서 빠지게 된듯...) 이번에 올릴 게시글들은 내가 처음 인공지능을 공부할 당시에 github에 요약해놓았던 것들을 모아모아 쓸 것이다. 인공지능을 많이 배웠던, 이미 공부했던 사람이라면 매우 쉽게 느껴질 수 있으니 참고바란다. 1. Machine Learning 인공지능이란, 인간의 인지와 관련된 기능을 모사하는 SW/HW를 말한다. 말그대로 기계가 사람의 지능을 가지게 되어서 여러 Task를 해내는 것이다. 현재까지 엄청난 발전이 이루어져 왔지만, 아직까지 사람과 비슷한 지능을 가진 인공지능은 꿈만 같은 이야기다. Machine Learning에 대한 설명 중 ..