1. 악천후 환경에서 세그멘테이션

1. Clear weather에서의 semantic segmentation

최근의 시맨틱 세그멘테이션 모델들은 정상 기상 조건에서 매우 높은 성능을 보입니다. CNN 기반 구조든 Transformer 기반 구조든, 충분한 데이터와 학습이 이루어진 경우 도로, 건물, 차량과 같은 주요 클래스에 대해서는 안정적인 예측이 가능합니다. 이러한 성능은 대부분 RGB 영상에서 추출되는 색상 대비, 텍스처 패턴, 국소적 경계 정보를 효과적으로 활용한 결과이겠죠.

 

실제로 clear weather 환경에서는 객체 간 대비가 명확하고, 조명 조건도 비교적 안정적이기 때문에 RGB appearance cue만으로도 충분한 분리 성능을 얻을 수 있습니다. 이로 인해 많은 세그멘테이션 모델들은 암묵적으로 “RGB 정보는 신뢰 가능하다”는 가정을 전제로 설계되고 학습됩니다.

 

2. 악천후 환경에서 공통적으로 나타나는 붕괴 양상

문제는 이러한 가정이 악천후 환경에서는 쉽게 깨진다는 점입니다. 비, 눈, 안개, 렌즈 플레어와 같은 조건에서는 입력 RGB 영상 자체가 크게 변형되며, 모델이 의존하던 주요 단서들이 동시에 약화됩니다.

 

rain 조건에서는 빗줄기와 반사로 인해 객체 경계가 분절되고, snow 조건에서는 작은 객체와 배경 간 텍스처 구분이 어려워집니다. fog 조건에서는 전역 대비가 감소하면서 feature 응답 자체가 약해지며, lens flare 조건에서는 국소적인 밝기 포화와 광번짐으로 인해 클래스 간 경계가 왜곡됩니다.

 

흥미로운 점은 이러한 조건들이 물리적으로는 서로 다른 현상임에도 불구하고, 세그멘테이션 결과에서는 유사한 실패 패턴을 보인다는 점입니다. '대기현상'은 다를지 몰라도 결국에는 객체 경계가 흐려지고, 얇은 구조물이나 작은 클래스에서 오분류가 집중적으로 발생하는 경향이니깐요.

 

3. RGB cue 의존의 한계

이러한 현상은 많은 경우 모델 구조의 문제가 아니라, 입력 표현 자체의 신뢰성 문제로 해석할 수 있습니다. 악천후 환경에서는 RGB 영상에서 색상, 텍스처, 대비와 같은 appearance cue가 더 이상 안정적인 정보를 제공하지 못합니다. 그럼에도 모델은 학습 과정에서 형성된 가중치에 따라 이러한 단서에 계속 의존하려고 합니다.

 

그 결과, 실제 장면의 구조는 크게 변하지 않았음에도 불구하고, 모델의 예측은 급격히 흔들리게 됩니다. 이는 세그멘테이션 모델이 장면의 기하적 구조보다는 시각적 표현 변화에 과도하게 민감하다는 점을 드러냅니다.

 

이러한 관점에서 보면, 악천후 문제는 단순히 “어려운 입력”의 문제가 아니라, 어떤 정보를 신뢰해야 하는가에 대한 문제로 볼 수 있습니다.

 

4. 단일 조건 학습의 구조적 한계

또 하나의 문제는, 기존 학습 방식이 대부분 정상 조건 또는 단일 악천후 조건에 초점을 맞추고 있다는 점입니다. 특정 조건에서 성능을 개선하더라도, 다른 조건에서는 동일한 문제가 다시 발생하는 경우가 많습니다. 이는 악천후를 하나의 도메인으로 묶어 다루기에는, 각 조건이 가지는 열화 특성이 서로 다르기 때문입니다.(위에선 똑같이 객체 경계가 흐려진다 했지만 좀 더 엄밀히 따지면 artifact의 정도나 유형, 크기에 따라 달라지긴합니다)

결과적으로, 하나의 세그멘테이션 모델이 모든 악천후 조건에서 동일하게 안정적인 RGB 표현을 학습하는 것은 쉽지 않습니다. 이 지점에서부터는 단순한 데이터 증강이나 손실 함수 조정만으로는 한계가 분명해집니다.

 

5. 결론

이러한 이유로, 다음 후속 논문에서는 RGB 정보만으로 판단하지 않고, 장면의 구조를 보다 안정적으로 반영할 수 있는 보조 단서가 필요하다고 판단했습니다. 또한, 모든 악천후를 하나의 조건으로 취급하기보다는, 조건별 특성을 고려한 학습 전략이 필요하다고 보았습니다.