상위: LLMOps
요약
데이터와 결과(정답) 사이의 관계 자체가 변하는 현상
입력 분포는 그대로여도 "무엇이 정답인가"의 정의가 바뀌는 경우. 예를 들어 이전에는 '긍정/부정'만 판단하던 모델이 '긍정/부정/중립/광고성'을 판단하도록 기능이 확장되면, '광고성'이라는 새로운 개념이 생긴 것.
Data Drift와의 차이
- Data Drift는 세상(입력)이 변하는 것 — 모델이 보는 데이터가 달라짐
- Concept Drift는 문제 정의가 변하는 것 — 같은 입력이라도 기대하는 출력이 달라짐
대응 전략
- 평가 지표(Metric) 자체를 수정·추가 — 기존 지표로는 새 개념의 성능을 측정할 수 없음
- 새 개념과 기존 개념의 경계를 테스트하는 테스트 케이스를 집중적으로 구축 (예: '중립'과 '광고성'이 헷갈리는 입력)
- 새 개념용 테스트 슬라이스를 추가해 기능별로 독립 검증