Fine-tuning

Fine-tuning

사전학습된 모델을 특정 작업이나 도메인에 맞게 추가 학습시켜 성능을 최적화하는 기법으로, 전체 파라미터 또는 일부만 업데이트

특징: 사전학습 모델 재활용, 적은 데이터로 높은 성능, 도메인 특화 가능

방법

• •Full Fine-tuning: 전체 파라미터 업데이트, 최고 성능, 계산비용 높음
• •PEFT(Parameter-Efficient Fine-Tuning): 일부 파라미터만 학습, LoRA·Adapter, 비용 절감
• •Instruction Tuning: 지시-응답 쌍으로 학습, 지시 따르기 능력 향상

장점: 높은정확도, 도메인특화, 소량데이터로가능

단점: 계산비용, 과적합위험, 모델전체저장필요(Full 방식)

적용사례: 의료텍스트분류(BERT), 고객지원챗봇(GPT), 코드생성(Codex)

비교: Fine-tuning(모델수정·고성능) vs RAG(검색·유연·최신정보) vs 프롬프트(파라미터고정·빠름)

연관: 전이학습, LoRA, PEFT, BERT, GPT