상위: LLMOps
요약
모델 자체가 바뀌어서 애플리케이션의 동작이 변하는 현상. OpenAI, Google 등 외부 파운데이션 모델 제공업체가 API 뒤의 모델을 업데이트하면, 개발팀의 코드·프롬프트 변경이 전혀 없어도 출력 품질과 스타일이 예기치 않게 달라질 수 있음.
Data/Concept Drift와의 차이
- Data Drift: 입력 데이터의 분포가 변함 (모델은 그대로)
- Concept Drift: 입력과 정답 사이의 관계 정의가 변함 (요구사항 변화)
- Model Drift: 입력도 요구사항도 그대로인데 모델이 변함 (외부 API 업데이트)
셀프호스팅 모델은 버전을 고정할 수 있어 Model Drift에서 비교적 자유롭지만, 외부 API 의존 서비스는 통제 불가능한 변수가 됨.
대응 전략
- 골든 데이터셋으로 사전 검증: 새 모델 버전을 프로덕션에 도입하기 전, 전문가가 검증한 골든 테스트셋으로 평가를 통과해야만 전환
- 모델 버전 고정(pinning):
gpt-4o-2024-08-06처럼 날짜 버전을 명시해 암묵적 업데이트 차단 - 회귀 테스트 자동화: CI에서 모델 응답 품질을 지속 측정해 저하를 조기 감지