상위: AI & ML
Supervised Fine-tuning 사전 학습된 LLM을 특정 태스크에 대한 입력-출력 쌍(Input-Output Pairs) 데이터셋을 사용하여 지도 학습 방식으로 미세 조정하는 Fine-tuning 방법.
작동 방식
- 데이터셋:
(프롬프트, 이상적인 응답)형태의 데이터셋을 구축. - 학습: 모델이 주어진 프롬프트에 대해 이상적인 응답을 생성하도록 학습.
- 목적: 모델이 특정 지시(Instruction)를 따르거나 특정 스타일의 텍스트를 생성하도록 유도.
장점
- 직관적이고 구현 용이: 지도 학습의 기본적인 원리를 따르므로 이해하고 구현하기 쉬움.
- 특정 태스크 성능 향상: 모델이 특정 태스크나 지시를 따르는 능력을 효과적으로 향상시킴.
단점
- 데이터셋 구축 비용: 고품질의 입력-출력 쌍 데이터셋을 구축하는 데 많은 시간과 비용이 소요됨.
- 일반화 성능 한계: 학습 데이터셋의 범위 내에서만 좋은 성능을 보이며, 새로운 유형의 지시나 데이터에 대한 일반화 성능이 떨어질 수 있음.
- 파국적 망각 위험: Full Fine-tuning과 유사하게 기존 지식을 잊어버릴 위험이 있음.