요약
Named Entity Recognition(NER)은 텍스트 내에서 미리 정의된 카테고리에 해당하는 고유한 이름을 자동으로 식별하고 분류하는 자연어 처리 기술입니다. Ontalis에서는 이를 활용해 더 정확하게 근거를 추출합니다.
개념 정의
Named Entity Recognition(NER)은 인명, 기관명, 지명, 날짜, 제품명 등 미리 정의된 카테고리에 해당하는 고유한 이름(개체명)을 텍스트에서 자동으로 식별하고 그 종류를 분류하는 자연어 처리 기술입니다.
작동 원리
AI 모델(특히 LLM)은 단어의 형태, 주변 단어와의 관계(문맥), 대문자 사용 여부 등 다양한 특징을 학습하여 특정 단어가 어떤 종류의 '이름'인지 문맥적으로 판단합니다.
키워드 검색과의 차이점
키워드 검색은 단순히 특정 단어(예: "company")의 출현 여부만 확인합니다. 문맥을 이해하지 못해 일반 명사와 고유 명사를 구분하지 못합니다. 반면, NER는 문맥을 이해하여 "Pfizer"는 '회사' 카테고리의 고유 명사로, 문장 속 다른 "company"는 일반 명사로 정확히 구분합니다.
Ontalis에서의 활용 예시
"Company" 타입의 근거(Evidence)를 추출할 때, 일반 명사 "company"를 제외하고 실제 회사 이름인 "Pfizer", "Moderna" 등을 정확히 식별하여 추출 정확도를 향상합니다. 또한, Case-insensitive 매칭 등을 통해 "Pfizer"와 "pfizer" 같은 표기 변형도 처리합니다.