선제적(Pro-active) AI 학습 에이전트

My Contribution

분산 AI Agent Team 아키텍처, 초저지연 SLM 서빙, 누수 없는 평가 데이터셋 설계와 벤치마크 검증을 담당했습니다.

1. 에이전트 아키텍처 설계

   선제적 개입 정책과 분산 AI Agent Team 협업 구조 설계

2. 서빙 최적화 & 검증

   초저지연 MoE 서빙 최적화 및 누수 없는 벤치마크 설계·검증

What It Does

1. 선제적(Pro-active) 개입

   학습 로그와 메타인지 확신도를 실시간 분석해, 중단·오류·혼란이 감지되면 사용자가 요청하기 전에 먼저 개입합니다.

2. 분산 AI Agent Team

   실시간 트리거 감지, 12셀 개인화 해설 생성, 약점 보강 커리큘럼 자동 배치를 역할별 에이전트가 유기적으로 수행합니다.

3. 초저지연 SLM 서빙

   MoE 대형 모델을 SGLang로 서빙 최적화해 개입 카드/힌트를 평균 0.3~0.5초의 초저지연으로 생성합니다.

Technical Approach

1. 분산 AI Agent Team 아키텍처

   Agno 프레임워크로 실시간 트리거 감지, 12셀 개인화 해설 생성, 약점 보강 커리큘럼 자동 배치를 유기적으로 수행하는 분산 AI Agent Team을 설계했습니다.

2. 초저지연 MoE 서빙

   MoE 구조의 대형 모델(Qwen3.6-35B-A3B)을 SGLang 고성능 엔진으로 서빙 최적화해, 힌트·개입 카드 생성을 평균 0.3~0.5초의 초저지연(Raw Fast Path)으로 구현했습니다.

3. 누수 없는 평가 데이터셋

   정/오답과 메타인지 확신도를 결합한 12셀 행위 매트릭스(약 9,000건)와 지표별 독립 하이브리드 데이터셋(Test Set 3종)을 구축해 학습/평가 데이터 누수(Leakage)를 제거했습니다.

4. 지연·누수 문제 해결

   Thinking Mode 과대 출력에 따른 지연과 Target Leakage를 해결하기 위해 enable_thinking 제어, Fast Path 분리, Context-only RAG-PRISM 파이프라인 재설계를 적용했습니다.

5. 검증된 성능

   SOTA(66.47%)를 상회하는 선제 개입 F1 0.889를 달성하고, 3회 독립 실행 평균·Bootstrap 2만 회 신뢰구간 분석으로 Hit@5 0.970의 문제 추천 정확도를 검증했습니다.

Performance

0.889

선제 개입 F1-Score

66.47%

SOTA 기준

0.970

문제 추천 Hit@5

0.3~0.5s

개입 카드 생성 지연

Tech Stack

Results

메타인지 진단 인사이트

확신도×정답 매트릭스로 '확신했는데 틀린' 함정 패턴과 과신 유닛을 진단합니다. 이 신호가 모든 선제 개입과 추천의 근거가 됩니다.

실시간 선제 개입 카드

무반응(25초)·저확신·연속 오답·정답률 급락 4가지 신호를 실시간 감지해 AI 코치가 먼저 말을 건넵니다(0.2~0.5s). 문항 텍스트는 저작권 보호를 위해 블러 처리했습니다.

정답 없는 단계별 힌트 실시간 생성

개입 카드에서 힌트를 요청하면 정답을 노출하지 않는 3단계 힌트를 실시간 생성합니다(0.6~0.9s). 힌트 본문은 문항 내용을 다뤄 블러 처리했습니다.

12셀 개인화 해설 · 유사문항 추천

채점 즉시 확신도×정답 12셀 중 어느 셀인지 판정해 코칭 톤을 바꿉니다. '함정에 빠짐'이면 오답 원인을 태깅해 해설을 실시간 스트리밍 생성하고 유사 문항을 추천합니다. 문항 본문은 블러 처리했습니다.

교사용 수업 TODO — 학습 장애 신호 감지

풀이 시간 초과·연속 오답·무반응 같은 장애 신호를 실시간 감지해 교사가 바로 개입할 수 있는 TODO와 선제 멘트를 제안합니다.