AI Observability (AI 관측가능성)

AI Observability (AI 관측가능성)

LLM 및 AI 시스템의 추론 과정, 성능, 품질을 실시간 모니터링하고 문제를 탐지하는 관측 체계

특징

• •할루시네이션 탐지: LLM 응답의 사실 정확성 자동 평가
• •모델 드리프트 감지: 시간 경과에 따른 모델 성능 변화 추적
• •프롬프트/응답 품질 평가: 입출력 쌍의 품질 자동 스코어링
• •비용 추적: 토큰 사용량, API 호출 비용 모니터링

구성요소

• •Trace: 추론 경로 추적 — 프롬프트→체인→도구호출→응답 전 과정 기록
• •Evaluation: 자동 품질 평가 — 정확성, 관련성, 유해성 등 자동 채점
• •Monitoring: 지표 대시보드 — 지연시간, 토큰 수, 오류율, 비용 실시간 표시
• •Alerting: 이상 알림 — 품질 저하, 비용 급증, 오류 급증 시 알림

비교

연관: MLOps, 모델 모니터링, 데이터 드리프트, XAI