Ontalis

My Contribution

온톨로지 파이프라인 설계, 표준 어휘 정규화, 멀티 인덱스 검색, LLM 서빙 최적화, 데이터 리니지 시각화를 담당했습니다.

1. 파이프라인 & 스키마 설계

   7단계 추출 파이프라인과 표준 어휘 정규화, 리니지 추적 구조 설계

2. 검색 & 서빙

   멀티 인덱스 검색, NL→Cypher 챗, vLLM 텐서 병렬 서빙 구현

What It Does

1. LLM 자동 스키마 제안

   문서를 분석해 엔티티 타입, 관계, 속성을 자동 제안하고 시각적 스키마 편집기로 다듬을 수 있습니다.

2. 표준 어휘 정규화

   ATHENA(OMOP CDM) 표준 어휘(RxNorm, SNOMED 등)로 약물·질병 엔티티를 정규화해 상호운용 가능한 그래프를 만듭니다.

3. 멀티 인덱스 검색 & NL 챗

   벡터(Qdrant)·풀텍스트(Elasticsearch)·그래프(Neo4j) 3중 인덱스 위에서 자연어 질의를 Cypher로 변환해 SSE 스트리밍으로 응답합니다.

4. 완전한 데이터 리니지

   소스 파일부터 그래프 엔티티까지 6계층(소스→컬럼→규칙→타입→인스턴스→관계) 추적을 제공해 모든 노드의 출처를 검증할 수 있습니다.

Technical Approach

1. 7단계 지식 추출 파이프라인

   추출→파싱→청킹→엔티티 추출→그라운딩→상호 검증→증분 갱신으로 이어지는 문서 처리 파이프라인을 Airflow DAG로 오케스트레이션했습니다.

2. 온톨로지 결함 자동 검출

   순환 관계, 고아 엔티티 등 8종의 온톨로지 설계 결함(pitfall)을 자동 탐지하고 수정안을 제안하는 품질 검증 계층을 구현했습니다.

3. 하이브리드 가상 지식 그래프

   Neo4j 물리 저장과 명시적 YAML 매핑 규칙을 결합해, 소스 데이터 변경이 그래프에 자동 반영되는 가상 지식 그래프 구조를 설계했습니다.

4. 엔티티 해소(Entity Resolution)

   Elasticsearch 퍼지 매칭과 LLM 보조 한국어 번역을 결합해 표기가 다른 동일 엔티티를 표준 개념으로 통합했습니다.

5. 4-GPU 텐서 병렬 서빙

   27B 모델을 vLLM 4-GPU 텐서 병렬로 서빙해 대량 문서의 엔티티 추출 처리량을 확보했습니다.

Tech Stack

Results

데이터 리니지 시각화

소스 파일부터 매핑 규칙, 엔티티 타입까지 이어지는 리니지를 계층 뷰로 시각화해 모든 노드의 출처를 추적·검증합니다.

AI 스키마 매니저

LLM이 문서에서 제안한 온톨로지 스키마를 시각적 블루프린트로 검토·편집하고, 객체·관계 타입과 YAML 매핑 규칙까지 관리합니다.

멀티 소스 데이터셋 관리

CSV·Elasticsearch·PostgreSQL 소스를 한 곳에서 등록·관리하며, 약 767만 건의 레코드를 온톨로지 추출 대상으로 연결합니다.