[Deep Learning] Regularization

머신 러닝에서 모델이 과적합되는 것을 방지하기 위해 사용하는 여러 Regularization 기법들에 대해 알아보자.

---

Early Stopping

validation 데이터 셋에 대한 loss 값이 커지기 직전 시점의 값으로 모델의 파라미터를 결정한다.

 

Parameter Norm Penalty

loss function에 파라미터의 패널티 항을 추가해서 weight 값이 커지는 것에 제약을 준다.

 

Data Augmentation

가지고 있는 훈련 데이터 셋을 여러가지 방법으로 증강하여 그 수를 늘린다.

 

Noise Robustness

입력값 또는 weight에 노이즈를 넣어 다양한 입력값들에 대해 강건한 모델을 만든다.

 

Label Smoothing

여러 라벨의 데이터를 섞음으로써, 정확히 하나의 클래스만 표현하는 데이터가 아닌, 여러 클래스들이 부드럽게 섞인 데이터를 학습에 사용한다.

 

Dropout

forwarding시, 전체 weight를 계산에 참여시키는 것이 아니라 일부 weight만 랜덤하게 골라 참여시킨다.

 

Batch Normalization

데이터가 batch 단위 별로 서로 다른 분포를 가지더라도 평균과 표준 편차를 이용해 정규화한다.