앙상블 학습 (Ensemble Learning)

앙상블 학습 (Ensemble Learning)

여러 개의 약한 학습기를 결합하여 단일 강한 학습기보다 우수한 예측 성능을 달성하는 기법으로, 배깅·부스팅·스태킹을 통해 과적합 방지와 일반화 성능 향상

목적: 예측 성능 향상, 과적합 방지, 분산·편향 감소

주요기법

• •배깅(Bagging): 부트스트랩샘플링 + 병렬학습 + 투표/평균, Random Forest
• •부스팅(Boosting): 순차학습 + 오차보정 + 가중치조정, AdaBoost·XGBoost·LightGBM·CatBoost
• •스태킹(Stacking): 다층구조 + 메타학습기, 다양한모델결합

대표알고리즘

• •Random Forest: 배깅 + 무작위특징, 안정적
• •XGBoost: 그래디언트부스팅 + 정규화, 병렬처리, 높은성능
• •LightGBM: 리프중심성장, 히스토그램기반, 빠름
• •CatBoost: 범주형변수최적화, 오버피팅방지

장점: 높은정확도, 과적합방지, 안정성, 노이즈강건

단점: 계산비용증가, 해석어려움, 학습시간길어짐

적용사례: Kaggle경진대회(XGBoost), 추천시스템(앙상블), 금융사기탐지(LightGBM)

비교: 배깅(병렬·분산감소) vs 부스팅(순차·편향감소) vs 스태킹(다층·최고성능)

연관: Random Forest, XGBoost, LightGBM, 배깅, 부스팅, 과적합