Transfer Learning (전이학습)

Transfer Learning (전이학습)

한 도메인(소스)에서 학습한 지식(사전학습 모델의 가중치, 특징 표현)을 다른 도메인(타겟)의 태스크에 재사용하여 적은 데이터·시간으로 높은 성능을 달성하는 학습 방법으로, Fine-tuning이 대표적이며 컴퓨터 비전·NLP에서 널리 활용

목적: 학습 데이터 부족 문제 해결, 학습 시간·비용 절감, 일반화 성능 향상, 도메인 적응

특징: 사전학습 모델 재사용, 적은 데이터로 학습, 빠른 수렴, Feature Extraction + Fine-tuning

구성요소

• •소스 도메인(Source Domain): 대규모 데이터(ImageNet, 웹 텍스트), 사전학습 모델(BERT, ResNet)
• •타겟 도메인(Target Domain): 적은 데이터(의료 이미지, 법률 문서), 목표 태스크
• •사전학습 모델(Pretrained Model): 소스에서 학습, 일반적 특징 표현 획득
• •Fine-tuning: 타겟 데이터로 모델 일부·전체 재학습, Learning Rate 작게

방법론

• •Feature Extraction: 사전학습 모델 고정, 마지막 분류층만 학습(빠름, 데이터 적을 때)
• •Fine-tuning: 사전학습 모델 전체·일부 재학습(성능 높음, 데이터 충분할 때)
• •Domain Adaptation: 소스·타겟 도메인 분포 차이 최소화(Adversarial, MMD)

장점: 적은 데이터로 고성능, 학습 시간·비용 대폭 절감, 일반화 능력 향상, 다양한 도메인 적용

단점: 도메인 불일치 시 성능 저하(Negative Transfer), 사전학습 모델 선택 중요, 과적합 위험

적용사례: 의료 이미지(ImageNet→X-ray), 법률 문서(BERT→계약서), 음성 인식(영어→한국어), 추천 시스템

기술요소: Pretrained Model(BERT, GPT, ResNet, ViT), Fine-tuning, Feature Extraction, Domain Adaptation

비교: 처음부터 학습(From Scratch, 많은 데이터·시간) vs Transfer Learning(적은 데이터·시간, 높은 성능)

연관: Fine-tuning, Domain Adaptation, Few-Shot Learning, Self-Supervised Learning, Pretrained Model