상위: Data Engineering
요약
정보 검색(Information Retrieval)은 대규모 데이터 속에서 사용자가 원하는 정보를 찾아 제공하는 기술입니다.
핵심 내용
정의 및 요구사항
- 대상: 웹 문서, 이미지, 동영상, 연구 논문 등
- 요구사항:
- 빠르고 정확한 검색 결과
- 사용자 경험
- 보안 및 개인정보 보호
- 확장성 및 유지보수 용이성
핵심 기술
- 데이터 수집 (Data Collection)
- 크롤링 (Crawling): 웹 문서를 자동으로 수집 및 색인
- 스크래핑 (Scraping): 웹사이트에서 필요한 정보 추출
- 데이터 저장 (Data Storage)
- 역색인 (Inverted Index): 키워드 → 해당 키워드를 포함한 문서 리스트 저장. 키워드 기반 검색 시 빠르게 문서 탐색 가능.
- 검색 알고리즘 (Search Algorithm)
- TF-IDF: 키워드의 상대적 중요도 평가
- BM25: TF-IDF를 개선한 알고리즘 (가중치 기반 → 정확도 향상)
기존 RDB 검색의 한계
SQL의 LIKE 연산은 쿼리 복잡도가 높고, 대량 데이터 처리 시 성능이 저하되며, 철자 오류나 유사 검색이 불가능하다는 한계가 있습니다.