의미론적 검색과 키워드 검색이라는 두 가지 다른 검색 방식의 장점을 결합한 하이브리드(Hybrid) 검색 기법
- 작동방식
- 이중 인덱싱 (Dual Indexing): RAG를 구축할 때, 동일한 문서 데이터에 대해 벡터 인덱스(예: FAISS)와 키워드 인덱스(예: BM25)를 모두 생성
- 병렬 검색 (Parallel Retrieval): 사용자 질문이 들어오면, 두 인덱스에서 동시에 검색을 수행하여 각각의 결과와 점수 리스트를 얻음
- 점수 정규화 및 융합 (Score Normalization & Fusion): 서로 다른 기준을 가진 두 점수 시스템을 0~1 사이의 값으로 정규화(normalize)한 뒤, alpha 가중치를 적용하여 하나의 '융합 점수(fused score)'로 합산
- 순위 재조정 (Re-ranking): 이 최종 '융합 점수'를 기준으로 전체 결과의 순위를 다시 매겨, 가장 점수가 높은 문서를 최종 검색 결과로 반환
- 장점
- 검색 품질 향상
- 강건성(Robustness): 한쪽 검색 방식이 놓칠 수 있는 문서를 다른 쪽 방식이 보완해주므로, 다양한 유형의 질문에 안정적으로 대응
- 유연성: alpha 가중치를 조절하여 사용 사례에 맞게 의미론적 검색과 키워드 검색의 중요도를 유연하게 조절
- 구현
- FAISS와 같은 벡터 DB 라이브러리와 rank-bm25 같은 키워드 검색 라이브러리 사용
- 각 검색기의 점수를 가져와 정규화(normalization)
- 정규화된 점수들을 가중합하여 최종 순위를 매기는 로직을 구현
vs Ensemble Retrieval
- Fusion: 두 검색 방식의 점수를 정규화 후 alpha 가중합(score-level fusion). 의미↔키워드 2-way 하이브리드에 집중
- Ensemble: N개 검색기의 순위를 RRF로 융합(rank-level fusion). 점수 비교 불가한 이질적 검색기도 결합 가능