Contextual Chunk Headers (CCH)

상위: Advanced RAG Techniques

텍스트 조각(Chunking)에 문서 제목과 같은 맥락 정보(헤더)를 추가하여, 정보 검색의 정확도를 높이는 기법

• 작동 방식:
  1. 기존 텍스트 조각(Chunking)을 벡터로 변환(Embedding)하기 전에, 해당 조각의 출처나 상위 정보를 담은 '헤더'를 맨 앞에 붙여 하나의 단위로 만듬.
  2. LLM은 이 헤더를 보고 각 정보 조각이 어디서 왔는지, 어떤 주제의 일부인지 파악 가능.
• 장점
  • 검색 정확도 향상: 각 텍스트 조각이 풍부한 문맥 정보를 가지게 되어 검색 시스템이 의미를 더 정확하게 파악하고 올바른 결과를 찾음.
  • 잘못된 검색 감소: 내용과 관련 없는 텍스트 조각이 검색 결과에 나타나는 비율을 줄여줌.
  • LLM의 오해 방지: 검색된 정보를 바탕으로 답변을 생성할 때, LLM이 각 텍스트 조각의 의미를 오해할 가능성을 낮춰 더 신뢰도 높은 답변을 생성.