Fine-tuning

상위: LLM

요약

사전학습(Pre-training)된 모델을 특정 작업이나 도메인에 맞게 추가 학습시키는 과정. 사전학습이 "언어 일반"을 배우는 단계라면, 파인튜닝은 그 지식을 원하는 형태(말투, 형식, 도메인 지식, 지시 수행)로 **정렬(align)**하는 단계.

방식

• Full Fine-tuning: 모델의 모든 파라미터를 업데이트. 성능 상한이 높지만 GPU 메모리·비용 부담이 크고 원본 능력을 잊는 catastrophic forgetting 위험
• PEFT: LoRA 등으로 일부 파라미터만 학습. 적은 자원으로 Full Fine-tuning에 근접한 성능

학습 목표에 따른 구분

• SFT: 정답 예시(지시-응답 쌍)를 그대로 모방하도록 지도학습
• DPO: 선호/비선호 응답 쌍을 비교해 사람이 선호하는 방향으로 직접 최적화

RAG와의 선택 기준

• 지식이 자주 바뀌면 RAG (문서만 갱신하면 됨), 말투·형식·도메인 특화 능력이 필요하면 파인튜닝
• 실무에서는 둘을 결합: 파인튜닝으로 응답 스타일을 잡고 RAG로 최신 지식을 주입