MF-LPR2

My Contribution

번호판 세그멘테이션, 시점 보정, scene text prior 기반 후처리 실험과 구현을 담당했습니다.

1. DeepLabV3 기반 번호판 세그멘테이션

   번호판 영역 검출 모델 구현 및 최적화, Precision 89%, Recall 87.5% 달성, Homography 기반 시점 보정 알고리즘 개발

2. TCDM 기반 후처리

   Scene Text Prior를 활용한 번호판 복원 모델 구현, Hallucination 현상 제거 및 복원 정확도 향상, ESRGAN, SwinIR 등 기존 모델 대비 우수한 성능 달성

What It Does

1. DeepLabV3 기반 번호판 세그멘테이션

   블랙박스 영상에서 번호판 영역을 정확하게 추출

2. FlowFormer++ 기반 Optical Flow 추정

   프레임 간 움직임을 정확하게 추정하여 정렬

3. 시공간적 일관성 보정

   프레임 정렬을 통한 안정적인 영상 처리

4. CLAHE를 통한 대비 향상

   영상의 대비를 개선하여 가독성 향상

5. TCDM 기반 후처리

   Scene Text Prior를 활용한 번호판 복원

Technical Approach

1. License Plate Region Extraction

   DeepLabV3로 번호판 영역 추출 → 고정 비율(4:1)로 업샘플링, Homography를 이용해 시점 보정, 최종적으로 1장의 Pseudo-GT + 31장의 LR 번호판 프레임으로 구성

2. Optical Flow Estimation & Refinement

   FlowFormer++를 통해 각 프레임의 움직임 추정, Temporal/Spatial Smoothness 기반 오류 보정 수행, 기준 프레임으로 모든 프레임 정렬 (De-warping)

3. Aggregation & Post-processing

   정렬된 프레임들을 집계하여 하나의 이미지로 생성, CLAHE로 대비 개선, TCDM으로 Scene Text Prior를 활용한 복원 향상

Performance

0.890

Detection Precision

0.875

Detection Recall

3.71%

평균 RMSE 개선

13.37%

Worst 30% frame 기준 RMSE 개선

Tech Stack

Results

프로젝트 결과

ESRGAN, SwinIR, TATT 등 최신 모델들과 비교하여 Hallucination 현상 없이 번호판 복원 정확도 우수