[Machine Learning] Learning Rate, Data Preprocessing, Overfitting and DataSet

모두를 위한 딥러닝 (김성훈)
머신러닝(Machine Learning) 9장 - Learning rate, data preprocessing, overfitting

ML07

---

1. Learning Rate

Gradient Descent 알고리즘은 기울기에 lr을 곱해서, 다음 W를 결정한다. lr이 너무 크면, 데이터가 무질서하게 이탈하여 최저점에 수렴하지 못한다. 이를 오버슈팅이라고 한다. lr이 너무 작으면, 학습 시간이 오래 걸려 최저점에 수렴하지 못한다.

2. Data Preprocessing

만약 입력값이 두 개 존재할 때, 값에 대한 범위의 차이가 매우 크면, 아래와 같이 왜곡된 형태의 그래프가 나타난다. 따라서 한 축으로는 간격이 좁고, 다른 축은 간격이 넓어 lr이 조금만 커도 최저점에 수렴하지 못한다. 이를 해결하기 위해 Preprocessing을 이용하여 정규화를 시켜준다.

3. Overfitting

머신러닝이 학습 데이터에 너무 딱 맞으면, 실제 데이터에서 틀릴 수 있는 확률이 높다. 이를 해결하기 위해서는 먼저 학습 데이터의 양을 늘리거나, regulation으로 일반화를 시키는 방법이 있다. regulation은 Weight의 값을 매우 크지 않게 만드는 방법이다. Weight가 크면 그래프가 구부러진 형태를 가지며, 작으면 선형적인 모습을 띈다. 이를 사용하기 위해 cost function 뒤에 regulation을 위한 식을 추가시켜준다. 모든 weight값의 제곱을 더하면, cost function을 통해 최소화된 값을 찾게 되고, weight 값이 작은 값을 가지도록 설계된다.

4. DataSet

전체 DataSet의 70퍼센트는 Training Set으로, 30퍼센트는 Testing Set으로 나눈다. 그래서 Traning Set으로 모델을 학습시키고, Test Set으로는 머신의 성능을 측정한다. 또한 모델을 학습 시킬 때, lr와 λ값을 조절할 수 있다. 따라서 Training Set을 Validation으로 일부 더 나눌 수 있다.