베이지안 통계 (Bayesian Statistics)

베이지안 통계 (Bayesian Statistics)

사전확률(Prior)과 관측 데이터(Likelihood)를 결합하여 사후확률(Posterior)을 갱신하는 통계적 추론 체계로, 베이즈 정리를 기반으로 불확실성을 확률분포로 표현

특징: 사전지식 반영, 순차적 갱신 가능, 확률분포로 결과 표현, 소표본에 유리

베이즈 정리

• •P(θ|D) = P(D|θ) × P(θ) / P(D)
• •P(θ): 사전확률(Prior), 데이터 관측 전 믿음
• •P(D|θ): 가능도(Likelihood), 모수 주어졌을 때 데이터 확률
• •P(θ|D): 사후확률(Posterior), 데이터 관측 후 갱신된 믿음
• •P(D): 주변가능도(Evidence), 정규화 상수

핵심 개념

• •사전분포: 무정보(Uniform), 약정보(Weakly informative), 정보적(Informative)
• •켤레사전분포(Conjugate Prior): 사전·사후 같은 분포족, 계산 용이
• •MCMC(Markov Chain Monte Carlo): 복잡한 사후분포 샘플링, Gibbs/Metropolis-Hastings
• •MAP(Maximum A Posteriori): 사후분포 최빈값 추정

빈도주의 vs 베이지안

적용사례: 스팸 필터(나이브 베이즈), A/B 테스트, 의료 진단, 자연어 처리, 추천 시스템

연관: 가설검정, 확률분포, 머신러닝, 나이브 베이즈, MCMC