상위: LLMOps
요약
시간이 지남에 따라 입력 데이터의 통계적 분포가 변하는 현상
모델의 기능과 문제 정의는 그대로인데, 현실 세계에서 들어오는 데이터가 변하는 것. 예를 들어 새로운 유형의 사용자 질문이 점점 늘어나는 경우 — 출시 시점 테스트셋으로는 잘 동작하던 모델이 현재 트래픽에서는 성능이 떨어질 수 있음.
예시
- 챗봇에 신제품 관련 질문이 급증 (학습·평가 시점에는 없던 주제)
- 사용자층 확대로 문체·언어가 다양해짐 (반말, 축약어, 외국어 혼용)
- 계절성 변화 (연말정산 시즌에만 몰리는 세무 질문)
대응 전략
- 현재 모델이 새로운 데이터 유형에 얼마나 취약한지 측정 — 프로덕션 입력 분포를 모니터링하고 기존 평가셋과의 차이를 추적
- 새로운 데이터 유형으로 구성된 테스트 슬라이스를 만들어 성능을 집중 평가
- 취약 슬라이스가 확인되면 해당 유형의 데이터를 골든 데이터셋에 추가해 회귀 테스트에 반영