5. CCAM

1. Degradation 이미지 세그멘테이션 성능 저하의 원인으로  “관계 오류”를 주목

low quality, degradation 이미지에 대한 세그멘테이션이 틀릴 때를 자세히 보면, 완전히 엉뚱한 클래스를 찍는 경우는 많지 않습니다.
대부분은 이런 식입니다.

• 도로 ↔ 인도
• 사람 ↔ 자전거
• 표지판 ↔ 기둥

즉, 공간적으로 가깝거나 시각적으로 비슷한 클래스끼리의 혼동이 주된 오류입니다.
이건 단순히 “픽셀이 비슷해서”라기보다,
특징 채널들이 잘못된 상관관계를 형성하고 있기 때문에 생깁니다.

그래서 CACKD에서 CCAM은 처음부터 이렇게 정의됩니다.

“채널 간 관계를 명시적으로 만들고,
의미 있는 관계는 강화하고,
혼동을 유발하는 관계는 억제하자.”

---

2. 채널 상관을 ‘의미 방향’으로 정렬

CCAM의 핵심은 attention을 어디에 거느냐가 아니라,
attention을 만들 때 쓰는 재료에 있습니다.

• 단순한 feature map이 아니라
• 채널 간 상관(correlation) / 공분산(covariance)을 만들어서
• 그 관계를 기반으로 attention을 계산합니다.

여기서 중요한 점은,
CCAM은 “어디를 본다”가 아니라 “어떤 채널들이 같이 움직여야 하는가”를 정렬한다는 것

 

3. 관계가 바뀌면, 가장 먼저 드러나는 “상관 구조”

CCAM의 효과를 가장 먼저 확인할 수 있는 건
의외로 픽셀 결과가 아니라 상관계수(correlation matrix)입니다.

 

여기서 관찰되는 패턴은 꽤 일관됩니다.

• 공간적으로 연속적인 클래스(예: road–sidewalk)는
  → 상관이 더 또렷해짐
• 헷갈리기 쉬운 클래스 쌍은
  → 불필요하게 높던 상관이 줄어듦

즉, CCAM은 무작정 상관을 키우는 게 아니라,
의미 있는 상관만 남기는 방향으로 작동합니다.

 

4. 혼동행렬(confusion matrix) 분석

상관 구조 변화가 실제 예측에 어떤 영향을 주는지는
confusion matrix를 보면 바로 드러납니다.

•  

 

여기서 핵심은 단순 정확도 상승이 아닙니다.

• 특정 클래스(예: Bicyclist)의 예측 빈도가 증가
• 기존에 자주 혼동되던 클래스 쌍에서 오분류가 눈에 띄게 감소

이건 “모델이 더 공격적으로 예측했다”기보다는,
관계 구조가 정리되면서 헷갈림이 줄었다는 해석이 더 맞습니다.

 

5. 복원(restoration)은 이 변화에 어떤 역할을 했을까

여기서 한 번 더 짚고 가야 합니다.

CACKD의 Teacher는 복원을 수행한 뒤 세그멘테이션을 합니다.
즉, Teacher의 feature는 이미

• 플레어가 제거된 상태에서
• 구조와 경계가 더 명확해진 표현입니다.

Student는 복원을 하지 않지만,
KD를 통해 Teacher가 복원을 거쳐 얻은 ‘정리된 관계 구조’를 상속합니다.

그래서 CCAM/관계 증류는
단순히 세그멘테이션 성능을 올리는 장치가 아니라,

“복원으로 얻은 구조적 이점을
복원 없이도 쓰게 만드는 통로”

로 이해하는 게 가장 정확합니다.