Retrieval with Feedback Loop

상위: Advanced RAG Techniques

사용자가 RAG 답변에 대해 남긴 피드백(평점 등)을 시스템이 학습하여, 시간이 지남에 따라 스스로 검색 및 답변 품질을 개선해나가는 동적 RAG 기법

• 작동방식
  1. 기본 RAG 실행: 사용자의 질문에 대해 문서를 검색하고 답변을 생성.
  2. 피드백 수집: 생성된 답변에 대해 사용자가 관련성, 품질 등을 평가하여 저장.
  3. 단기적 개선 (실시간 재조정): 다음 질문이 들어왔을 때, 검색된 문서들과 관련된 과거 피드백을 LLM으로 찾아내고, 이 피드백 점수를 반영하여 실시간으로 문서 순위를 재조정한 뒤 LLM에 전달.
  4. 장기적 개선 (인덱스 파인튜닝): 주기적으로, 높은 평가를 받은 '질문+답변' 쌍들을 새로운 문서처럼 취급하여 Vector Database에 추가함으로써 시스템의 지식 기반을 영구적으로 강화.
• 장점
  •  지속적인 성능 향상: 시스템이 상호작용을 통해 스스로 학습하고 발전.
  • 사용자 맞춤화: 사용자의 선호도와 요구사항에 맞게 시스템이 적응.
  • 오류 자동 수정: 잘못된 정보를 제공할 확률이 점차 줄어들고, 더 정확한 답변을 생성.
• 구현
  1. 실시간 관련성 조정: 새 질문이 들어올 때마다, 검색된 문서와 관련된 과거 피드백을 LLM으로 찾음. 이 피드백 점수를 이용해 현재 검색 결과의 문서 순위만 동적으로 재조정하여 즉각적인 개선.
  2. 주기적 인덱스 파인튜닝: 별도 프로세스를 통해, 높은 평가를 받은 Q&A 쌍들을 새로운 학습 데이터로 삼아 원본 문서와 함께 Vector Index 자체를 다시 빌드. 이를 통해 시스템의 지식 기반을 영구적으로 강화.