딥러닝 정규화 기법 (Regularization Techniques)

딥러닝 정규화 기법 (Regularization Techniques)

딥러닝 모델의 과적합을 방지하고 일반화 성능을 향상시키기 위해 학습 과정에 제약을 가하는 기법으로, Dropout·DropConnect·정규화층 등 다양한 방법을 포함

특징: 과적합 방지, 일반화 향상, 학습 안정화, 기법 조합 사용

주요 기법

• •Dropout: 노드를 확률적 비활성화(p=0.2~0.5), 앙상블 효과, 가장 널리 사용
• •DropConnect: 가중치를 확률적 비활성화, Dropout의 일반화, 더 다양한 서브모델
• •Batch Normalization: 미니배치 단위 정규화, 학습 안정화·가속, CNN에 표준
• •Layer Normalization: 층 단위 정규화, 배치 크기 무관, RNN/Transformer에 적합
• •Weight Decay (L2): 가중치 크기 패널티, 큰 가중치 억제, AdamW에 적용
• •Data Augmentation: 학습 데이터 변환으로 다양성 확보, 이미지·텍스트
• •Early Stopping: 검증 손실 증가 시 학습 중단, 간단하고 효과적

비교: Dropout(노드제거·범용) vs BatchNorm(분포정규화·CNN) vs LayerNorm(층정규화·Transformer) vs WeightDecay(가중치패널티)

연관: 과적합, 일반화, 딥러닝 학습, 최적화