베이지안 최적화 (Bayesian Optimization)

베이지안 최적화 (Bayesian Optimization)

평가 비용 높은 블랙박스 함수의 전역 최적값을 확률적 대리 모델과 획득 함수로 효율적으로 탐색하는 순차적 최적화 기법

특징: 순차적 학습, 확률 모델 기반, 탐색-활용 균형

대리 모델: GP(가우시안 프로세스/평균+불확실성/대표적), TPE(Optuna 기본/조건부 탐색), 랜덤 포레스트(SMAC/범주형)

획득 함수: EI(기대 개선량/널리 사용), PI(초과 확률/보수적), UCB(평균+κ×표준편차/탐색-활용 조절)

프로세스: 초기 랜덤 샘플링 → 대리 모델 학습 → 획득 함수 최대화 → 실제 평가 → 모델 업데이트 → 반복

비교: Grid Search(전수/비효율) vs Random Search(랜덤/중간) vs Bayesian(확률모델/효율/순차)

도구: Optuna(TPE), Hyperopt, BoTorch(GP/PyTorch)

장점: 평가 횟수 최소화, 전역 최적 수렴, 불확실성 정량화

단점: 순차적(병렬화 어려움), 고차원(>20) 비효율

적용사례: 딥러닝 하이퍼파라미터, AutoML, 실험 설계, A/B 테스트

연관: Hyperparameter Tuning, AutoML, 가우시안 프로세스, Optuna