편향-분산 트레이드오프 (Bias-Variance Tradeoff)

편향-분산 트레이드오프 (Bias-Variance Tradeoff)

모델의 예측 오차가 편향(Bias)과 분산(Variance)의 합으로 구성되며, 하나를 줄이면 다른 하나가 증가하는 상충 관계

목적: 모델 복잡도 최적화, 일반화 성능 극대화, 과적합/과소적합 이해

구성요소

• •편향(Bias): 모델의 가정이 실제 관계와 다른 정도, 높으면 과소적합(Underfitting), 단순 모델에서 발생
• •분산(Variance): 학습 데이터 변경 시 모델 예측의 변동 정도, 높으면 과적합(Overfitting), 복잡 모델에서 발생
• •노이즈(Irreducible Error): 데이터 자체의 고유 불확실성, 줄일 수 없음

총 오차 분해: E[오차] = Bias² + Variance + Noise (편향-분산 분해 정리)

모델 복잡도와 관계: 단순 모델(높은편향/낮은분산/과소적합) → 복잡도 증가 → 복잡 모델(낮은편향/높은분산/과적합), 최적점은 총 오차 최소 지점

균형 전략

• •정규화(L1/L2): 복잡도 제한으로 분산 감소
• •교차 검증: 최적 복잡도 탐색
• •앙상블(Bagging): 분산 감소(Random Forest), 앙상블(Boosting): 편향 감소(XGBoost)
• •데이터 증강: 학습 데이터 확대로 분산 감소

비교: 고편향(단순모델/과소적합/일관된오류) vs 고분산(복잡모델/과적합/불안정한예측)

연관: 과적합, 정규화, 앙상블, 교차 검증, 모델 선택