2. RGB-D main-teacher 셜계

1. RGB-only 접근의 한계

앞선 포스팅에서 살펴본 것처럼, 악천후 환경에서의 세그멘테이션 붕괴는 단순한 성능 저하가 아니라 RGB 표현 자체의 신뢰성 붕괴로 볼 수 있습니다. 비·눈·안개·렌즈 플레어 조건에서는 색상 대비와 텍스처 정보가 불안정해지며, 모델은 더 이상 일관된 판단 기준을 유지하기 어렵습니다.

 

이러한 상황에서 RGB-only 모델을 그대로 유지한 채 학습 전략이나 손실 함수를 조정하는 방식은 근본적인 해결책이 되기 어렵다고 판단했습니다. 입력 표현이 불안정한 상태에서는, 어떤 형태의 감독 신호를 추가하더라도 모델이 참고할 수 있는 기준 자체가 흔들리기 때문입니다.

 

2. 악천후에서의 Depth

반면, 도로 장면에서의 Depth 정보는 악천후 환경에서도 상대적으로 안정적인 특성을 보입니다. 비나 안개로 인해 시각적 대비가 감소하더라도, 도로 구조, 차량의 위치 관계, 건물과 하늘의 경계와 같은 기하적 정보는 크게 변하지 않습니다.

 

이러한 특성으로 인해 RGB-D 기반 세그멘테이션 모델들은 악천후 환경에서 RGB-only 모델 대비 더 안정적인 성능을 보이는 경우가 많습니다. 실제로 Depth를 입력으로 함께 사용하는 모델들은, RGB 정보가 불안정한 구간에서도 구조적인 단서를 통해 예측을 유지하는 경향을 보입니다.

 

3. 그러나 RGB-D 모델을 그대로 사용할 수는 없었습니다

문제는 RGB-D 모델을 그대로 사용하는 것이 현실적인 해결책이 되기 어렵다는 점입니다. 추론 단계에서 Depth 입력을 요구하는 구조는 추가 센서 의존성을 의미하며, 이는 실제 적용 환경에서 큰 제약으로 작용합니다. 모델 자체가 커지는 문제도 있겠죠.

또한 Fusenet으로 대표되는 기존의 RGB-D 논문들에서 항상 언급되는 RGB와 Depth 간의 스케일 차이, 노이즈 특성 차이로 인해 단순한 결합 방식은 오히려 불안정한 결과를 초래하는 경우도 있습니다.

 

즉, RGB-D 정보는 분명히 유용하지만, 이를 최종 모델의 입력으로 그대로 사용하는 것은 목표로 삼기 어려웠습니다. 이 지점에서 연구의 방향은 RGB-D는 추론을 위한 입력이 아니라, RGB-only 모델을 학습시키기 위한 신뢰 가능한 기준으로 활용하는 것이 더 적절하다고 판단했습니다.

 

4. RGB-D main-teacher 라는 선택

이러한 문제 인식에서 출발하여, 본 연구에서는 RGB-D 기반 모델을 teacher로 설정하고, 최종적으로는 RGB-only student가 이를 학습하도록 하는 지식 증류 구조를 고려하게 되었습니다. 악천후 환경에서도 상대적으로 안정적인 Depth 정보를 활용해, teacher가 보다 일관된 예측과 feature 표현을 형성하도록 유도하고, 이를 student에게 전달하는 방식입니다.

 

다만 이 단계에서 중요한 점은, 단순히 RGB와 Depth를 입력으로 받는 teacher를 만드는 것만으로는 충분하지 않다는 점이었습니다. RGB와 Depth는 서로 다른 특성과 신뢰도를 가지며, 악천후 조건에 따라 그 기여도 또한 달라지기 때문입니다.