시스템구조

머신러닝_과대적합(Overfitting), 과소적합(Underfitting), 드롭아웃

스윙스윙 2021. 11. 11. 21:19

▣ 머신러닝_과대적합(Overfitting), 과소적합(Underfitting)

■ 과대적합(Overfitting)
과대적합은 학습데이터에 대해 과하게 학습하여 실제 데이터에 대한 오차가 증가하는 현상

▶ 해결방안

파라미터 수가 적은 모델을 선택하거나, 모델에 제약을 가하여 단순화
훈련 데이터를 더 많이 확보
훈련 데이터의 잡음을 줄임 (Outlier, Error 제거)

 

■ 과소적합(Underfitting)
과소적합은 과대적합의 반대 개념

모델이 너무 단순해서 데이터의 내재된 구조를 학습하지 못할 때 발생

 

▶ 해결방안

파라미터가 더 많은 강력한 모델을 선택
학습 알고리즘에 더 좋은 특성을 제공
모델의 제약을 줄임

 

 


2020년 89번

정답 : 3번

 

과대적합은 학습데이터에 대해 과하게 학습하여 실제 데이터에 대한 오차가 증가하는 현상

데이터가 그대로이면 아무리 반복 횟수를 늘려도 오버피팅 문제를 해결할 수 없음

 

드롭아웃 (Dropout)
층의 출력값에 노이즈(랜덤하게 끄는것)를 추가하여 중요하지 않은 우연한 패턴을 네트워크가 학습하지 못하게 하는 것
네트워크 층에 드롭아웃을 적용하면 훈련하는 동안 랜덤하게 층의 일부 출력 특성(유닛)을 제외