0. After the CACKD

1. CACKD

 

CACKD는 렌즈 플레어로 심각하게 열화된 도로 영상에서도 시맨틱 세그멘테이션 성능을 유지하는 것을 목표로 한 제 첫 연구입니다. 강한 광원(=lens flare)으로 인해 발생하는 국소적 밝기 왜곡과 대비 붕괴는 기존 RGB 기반 모델의 feature 표현을 불안정하게 만들며, 이는 경계 인식 오류와 클래스 예측 성능 저하로 이어집니다.

 

 

이를 완화하기 위해 CACKD에서는 채널 간 공분산 구조를 활용한 attention과 teacher–student 간 상관관계 기반 지식 증류를 결합하는 방식을 사용했습니다. 이러한 설계를 통해 lens flare 조건에서는 기존 방법 대비 안정적인 성능 개선을 확인할 수 있었습니다.

 

2. CACKD의 한계

다만 CACKD 실험을 진행하는 과정에서, 자연스레 드는 생각은 렌즈 플레어는 정말 특수한 문제인지, 아니면 악천후 환경에서 나타나는 여러 failure mode 중 하나인지에 대한 의문입니다. 이미 restoration이든 segmentation task든, 여러 weather condition을 다루는 논문들이 최근에 많이들 나오고 있고, 실제로 그런 데이터을 보면 렌즈 플레어 외의 조건에서도 유사한 성능 붕괴 양상이 반복적으로 관찰되었습니다.

 

rain 조건에서는 대비 저하와 streak로 인해 객체 경계가 흐려지고, snow 조건에서는 작은 객체와 배경 간 구분이 불안정해지는 문제가 나타나며  fog 조건에서는 전반적인 feature 응답이 약화되며 세그멘테이션 결과가 쉽게 무너지는 경향을 보였습니다.

 

사실 이런것들은 렌즈 플레어와 크게 다른 문제로 보이지는 않는다고 생각합니다.
표현 형태는 다르지만, 모델이 의존하던 RGB의 텍스쳐나, 색상 정보가 신뢰성을 잃는다는 점에서는공통적인 failure pattern을 공유하고 있었습니다.

 

그래서 실제로 제가 CACKD 논문에서는 악천후(adverse weather) 전반에 대한 확장과 도메인 변화(domain shift)에 대한 강건성 문제를 Future Work로 비교적 간략하게 언급했습니다. 이 항목들은 단순한 후속 연구 주제가 아니라 어떻게보면 현재 모델이 여전히 해결하지 못한 핵심적인 제약 조건으로도 볼 수 있습니다.

 

왜냐하면 결국엔 RGB-only 세그멘테이션 모델은 조명 변화, 대기 산란, 국소적 열화 조건에 대해 구조적으로 취약한 특성을 보였으며, 이는 특정 weather condition에 국한되지 않는 문제이겠죠.

 

 

3.  새로운 데이터 구성

기존 도로 장면 세그멘테이션 데이터셋들은 대부분 정상 기상 조건을 중심으로 구성되어 있습니다. CamVid, KITTI와 같은 대표적인 데이터셋은 도로 구조와 클래스 정의 측면에서는 충분히 활용 가치가 있지만, 비·눈·안개·렌즈 플레어와 같은 악천후 조건을 체계적으로 포함하고 있지는 않습니다.

 

이러한 데이터 분포에서는 모델이 색 대비나 텍스처와 같은 RGB appearance cue에 강하게 의존하게 되며, 악천후 환경에서는 이러한 단서가 쉽게 붕괴됩니다. 실제로 rain, snow, fog, flare 조건에서는 서로 다른 열화 원인에도 불구하고, 객체 경계가 흐려지고 작은 객체에서 오분류가 반복되는 경향이 관찰되었습니다.

 

문제는 기존 데이터셋 구조로는 이러한 실패 양상을 조건별로 분리해 분석하기 어렵다는 점입니다. 특히 렌즈 플레어는 기존 adverse weather 연구에서 상대적으로 충분히 다뤄지지 않았으며, 단순한 대비 저하와는 다른 형태의 심각한 표현 왜곡을 유발합니다.

 

이에 따라 본 연구에서는 동일한 장면을 기준으로 rain, snow, fog, lens flare 조건을 각각 적용한 CamVid-W4 및 KITTI-W4 데이터셋을 새롭게 구성하였습니다. 이를 통해 구조는 유지한 채 appearance 분포만 변화시키는 환경을 만들고, 다양한 악천후 조건에서 모델의 반응 차이를 보다 명확하게 관찰할 수 있도록 하였습니다.