6. CamVid-EF / KITTI-EF

0~1편에서 계속 말했던 문제가 있죠.

• 악천후에서 RGB cue(색/텍스처/대비)가 무너지고
• 그 결과 세그멘테이션은 경계가 흐려지고, 작은 객체에서 오분류가 집중됩니다.

그런데 이걸 제대로 연구하려면, 사실 조건이 꽤 까다롭습니다.

 

같은 장면 구조를 유지한 채,

비/눈/안개/렌즈 플레어만 바꾼 데이터를 만들어야
“모델이 구조를 잃는지 vs appearance에 휘둘리는지”를 분리해서 볼 수 있습니다.

문제는 논문이 딱 잘라 말하듯, 그런 데이터가 공개로 거의 없다는 점입니다.

그래서 VD-MKDF는 실험 검증을 위해 CamVid와 KITTI를 기반으로 새 EF 데이터셋을 구성합니다.

 

---

EF(환경요인) 합성

EF는 총 4개로 확장합니다.

• rain / snow / fog / lens flare

그리고 합성 방식이 증강이 아니라, 논문은 레퍼런스를 분리해서 씁니다.

• lens flare: Kang et al.의 Syn-flare 생성 방식을 기반

• rain/snow/fog: Dundar et al. 시뮬레이션 기법의 수정 버전을 적용

 

• flare는 “전역 대비 저하”가 아니라 국소 포화/광번짐/하이라이트 번짐처럼 패턴이 매우 독특하고,
• rain/snow/fog는 또 다른 물리적 성격(산란/스트릭/입자)을 갖기 때문에,
• 한 가지 합성 기법으로 뭉개면 오히려 “EF별 특성”이 흐려질 수 있습니다.

 

---

평가 지표

mIoU: 클래스별 IoU 평균

IoU는 “겹친 영역 / 전체 영역”입니다.

• TP (true positive): GT가 클래스 c이고, 예측도 c인 픽셀
• FP (false positive): GT는 c가 아닌데, 예측이 c인 픽셀
• FN (false negative): GT는 c인데, 예측이 다른 클래스인 픽셀​

직관적으로

• mIoU는 “클래스별로 공평하게” 봅니다.
• 그래서 작은 객체(예: pole, pedestrian)가 무너지는 게 mIoU에 크게 드러납니다.
• 즉, EF에서 문제가 되는 “얇은 구조물/작은 객체”를 강조해 보는 지표로 적합합니다.

Pixel Accuracy: 전체 픽셀 정확도

Pixel Acc는 맞춘 픽셀 수 / 전체 픽셀 수​

직관적으로

• road/sky 같은 큰 면적 클래스가 잘 맞으면 높게 나옵니다.
• 그래서 “전체적으로는 맞추는 것 같지만, 경계/작은 객체는 무너짐” 같은 상황에서 mIoU와 괴리가 날 수 있습니다.

논문도 “두 지표가 관점이 다르다”고 명시합니다.

---

 

정리하면 VD-MKDF는 실험 자체를 이렇게 설계했습니다.

• 공개 데이터 부재 → CamVid/KITTI 기반 EF 확장 데이터셋 구축

• EF는 4종(rain/snow/fog/flare), 합성 방법도 EF 성격에 맞게 분리

• 2-fold CV + fold 내 10% val로 결과 안정성 확보

• crop/resize/복원 평가로 “학습 가능 + 평가 정합성”을 동시에 만족

• mIoU/PixelAcc를 수식으로 고정해, 이후 성능 비교의 기준을 명확히 함