RAG Observability

상위: RAGOps

요약

프로덕션 RAG에서 답변이 잘못됐을 때 어느 단계에서 문제가 생겼는지 추적할 수 있어야 한다. OpenTelemetry가 2026년 기준 관측성의 사실상 표준(de facto standard)이다.

OpenTelemetry 기반 RAG 트레이싱

RAG 파이프라인의 각 단계를 Span으로 기록하고 전체를 하나의 Trace로 연결한다.

Trace: user_query_001
├─ Span: query_preprocessing (12ms)
├─ Span: embedding_generation (45ms)
├─ Span: vector_search (23ms)
│   └─ Attributes: {top_k: 10, db: "pinecone", similarity_threshold: 0.7}
├─ Span: reranking (67ms)
│   └─ Attributes: {model: "cross-encoder", input_docs: 10, output_docs: 5}
├─ Span: context_assembly (5ms)
├─ Span: llm_generation (1200ms)
│   └─ Attributes: {model: "gpt-4o", tokens_in: 3200, tokens_out: 450}
└─ Span: output_validation (15ms)

핵심 모니터링 지표

• 검색 품질: Context Relevancy Score, Retrieval Latency (p50/p95/p99)
• 생성 품질: Faithfulness Score, Answer Relevancy, 환각 비율
• 시스템 성능: End-to-end Latency, 토큰 사용량, 에러율
• 데이터 건강: Embedding Drift(임베딩 분포 변화 감지), 인덱스 신선도

주요 관측성 플랫폼 (2026)

관련 노트

• RAGOps — 운영 전반
• OpenTelemetry — 트레이싱 표준