SVM (Support Vector Machine)

SVM (Support Vector Machine)

클래스 간 마진을 최대화하는 최적 초평면을 찾는 지도학습 분류·회귀 알고리즘

특징: 마진 최대화, 서포트 벡터 기반, 커널 트릭, 볼록 최적화(전역 최적해)

핵심 개념: 초평면(w·x+b=0), 마진(양쪽 최근접 거리), 서포트 벡터(마진 경계 포인트)

하드 vs 소프트 마진: 하드(오분류 불허/노이즈 취약) vs 소프트(C로 오분류 허용 조절)

커널 트릭: 고차원 매핑 없이 내적만 계산, Linear(선형), Polynomial(다항), RBF(가우시안/범용), Sigmoid

SVR: ε-튜브 내 오차 무시, 튜브 밖만 최소화

장점: 고차원 효과적, 과적합 강건, 전역 최적해, 메모리 효율적

단점: 대규모 느림(O(n²~n³)), 하이퍼파라미터 튜닝, 확률 출력 직접 불가

비교: SVM(마진/커널/블랙박스) vs 로지스틱(확률/해석 용이) vs 결정트리(규칙/해석 용이)

적용사례: 텍스트 분류, 이미지 인식, 이상 탐지(One-Class SVM)

연관: 분류, 커널 트릭, 마진 최대화, 정규화