모델 모니터링 / 드리프트

모델 모니터링 / 드리프트

프로덕션 모델의 성능·입력 데이터·예측 분포를 지속 추적하여 데이터 드리프트와 모델 성능 저하를 탐지하고 대응하는 과정

특징: 지속적 감시, 조기 경보, 자동화 대응, 재학습 트리거

핵심개념

• •데이터드리프트(Data Drift): 입력분포(P(X)) 변화, KS Test·PSI로 탐지
• •개념드리프트(Concept Drift): 입력-출력관계(P(Y|X)) 변화, 모델 재학습 필요
• •성능저하: 정확도·F1 저하, 비즈니스 메트릭 하락

대응: 재학습, 모델업데이트, 피처재설계, A/B테스트

도구: Evidently AI(오픈소스 대시보드), WhyLabs(자동모니터링), Fiddler(설명가능AI), Arize(ML관찰성)

적용사례: 추천시스템(사용자행동변화), 금융(시장변화), 의료(인구변화)

비교: 데이터드리프트(입력분포변화) vs 개념드리프트(관계변화) vs 성능드리프트(출력품질저하)

연관: MLOps, 모니터링, 재학습, 데이터드리프트