요약
검색 성능을 극대화하기 위해 문서 분할 단위인 청크의 최적 크기를 찾는 것
'너무 많은 노이즈'(큰 청크)와 '부족한 맥락'(작은 청크) 사이의 균형을 찾아 검색 품질을 직접 향상시키는 최적화 단계.
작동 방식
- 데이터셋 특성과 예상 질문 유형에 따라 다양한 청크 크기(예: 128, 256, 512 토큰)와 청크 간 겹침(Overlap) 비율을 실험
- 각 설정을 동일한 평가셋으로 측정해 비교:
- Faithfulness: 생성된 답변이 검색된 문맥에 얼마나 충실한가? (환각이 없는가?)
- Relevancy: 검색된 문맥과 답변이 질문과 얼마나 관련 있는가?
트레이드오프
- 작은 청크: 검색 정밀도↑ (질문과 정확히 맞는 조각을 찾기 쉬움) / 문맥이 잘려 답변 생성에 필요한 주변 정보 부족
- 큰 청크: 문맥 보존↑ / 관련 없는 내용이 섞여 검색 정밀도↓, 컨텍스트 낭비
- 정답은 도메인마다 다름 — FAQ처럼 짧은 단위 문서는 작게, 논문·계약서처럼 긴 논리 흐름은 크게 + 문단 경계 기반 분할이 유리