MF-LPR2

Problem

블랙박스 영상 속 번호판은 해상도가 낮고 움직임 흐림이 겹쳐 한 프레임만으로는 판독이 어렵습니다. 여러 프레임에 정보가 나뉘어 있지만 차량이 이동하는 동안 촬영돼 시점이 매번 달라, 그대로 겹쳐서 화질을 올릴 수 없었습니다.

Contribution

번호판 세그멘테이션, 시점 보정, scene text prior 기반 후처리 실험과 구현을 담당했습니다.

1. DeepLabV3 기반 번호판 세그멘테이션

   번호판 영역 검출 모델 구현 및 최적화, Precision 89%, Recall 87.5% 달성, Homography 기반 시점 보정 알고리즘 개발

2. TCDM 기반 후처리

   Scene Text Prior를 활용한 번호판 복원 모델 구현, Hallucination 현상 제거 및 복원 정확도 향상, ESRGAN, SwinIR 등 기존 모델 대비 우수한 성능 달성

Approach

1. License Plate Region Extraction

   DeepLabV3로 번호판 영역 추출 → 고정 비율(4:1)로 업샘플링, Homography를 이용해 시점 보정, 최종적으로 1장의 Pseudo-GT + 31장의 LR 번호판 프레임으로 구성

2. Optical Flow Estimation & Refinement

   FlowFormer++를 통해 각 프레임의 움직임 추정, Temporal/Spatial Smoothness 기반 오류 보정 수행, 기준 프레임으로 모든 프레임 정렬 (De-warping)

3. Aggregation & Post-processing

   정렬된 프레임들을 집계하여 하나의 이미지로 생성, CLAHE로 대비 개선, TCDM으로 Scene Text Prior를 활용한 복원 향상

4. DeepLabV3 기반 번호판 세그멘테이션

   블랙박스 영상에서 번호판 영역을 정확하게 추출

5. FlowFormer++ 기반 Optical Flow 추정

   프레임 간 움직임을 정확하게 추정하여 정렬

6. 시공간적 일관성 보정

   프레임 정렬을 통한 안정적인 영상 처리

7. CLAHE를 통한 대비 향상

   영상의 대비를 개선하여 가독성 향상

8. TCDM 기반 후처리

   Scene Text Prior를 활용한 번호판 복원

Results

프로젝트 결과

ESRGAN, SwinIR, TATT 등 최신 모델들과 비교하여 Hallucination 현상 없이 번호판 복원 정확도 우수

Architecture

.
├── Data/                # 입력/출력 데이터
├── DT_core/            # 번호판 Detection (DeepLabV3)
├── FF_core/            # Optical Flow 보정 (FlowFormer++)
├── FlowFormerPlusPlus/ # FlowFormer++ 원본 코드
├── TCDM/               # 후처리용 텍스트 기반 복원 모델
├── scripts/            # 실행 스크립트 모음
└── main.py             # 메인 실행 스크립트

Setup

Conda 환경 설정: conda env create -f environment.yaml
모델 다운로드: model_v2.pth → DT_core/에 저장
실행: python main.py