mIoU는 그대로인데 면적 오차는 19% 줄었다: 분할 모델을 칸 면적으로 채점하고 손실도 맞추기 (CE·Dice·칸 면적 항·clDice)
항공(드론) 정사 영상 분할 모델의 결과물로 실제로 쓰는 숫자는 지도가 아니라 「격자 칸마다 각 클래스가 차지한 면적 비율」이었다. 화소 단위 손실(CE)로 학습하고 mIoU로 모델을 고르면, 이 숫자는 따로 논다. 채점을 칸 면적 오차로 바꾸고 손실에 CE + Dice + 칸 면적 항을 함께 넣자, 얇은 식생 클래스의 칸 오차가 19% 줄었다. mIoU는 1%p 안팎만 움직였다. 칸 면적 항 하나만으로 학습하면 오히려 CE보다 나빴다.
질문
- 모델: U-Net(ResNet34 인코더), 입력은 RGB + 높이 4채널.
- 학습: 가중 CE(화소마다 독립 벌점). 모델 선택: 검증 mIoU.
- 실제로 쓰는 값: 수 m 크기 격자 칸마다 「클래스별 면적 비율」. 한 칸에 화소가 만 개 넘게 들어간다.
그래서 두 가지를 물었다.
- 지금 채점이 우리가 쓰는 숫자를 재고 있나?
- 손실이 그 숫자를 공부하게 만들고 있나?
개념 1: 화소 지표와 면적 지표는 다른 것을 잰다
IoU(Intersection over Union)는 「예측과 정답이 겹친 넓이 ÷ 둘을 합친 넓이」다. mIoU는 이것을 클래스마다 구해 평균한 값이다. 칸 면적 오차는 칸마다 「예측 비율 − 정답 비율」의 절댓값을 평균한 값이다.
\[\hat r_{k,c} = \frac{1}{\lvert k \rvert}\sum_{i \in k} p_{i,c}, \qquad E_c = \frac{1}{N}\sum_{k=1}^{N} \left\lvert \hat r_{k,c} - r_{k,c} \right\rvert\]여기서 \(k\)는 칸, \(p_{i,c}\)는 화소 \(i\)가 클래스 \(c\)일 확률(또는 0/1 예측), \(r_{k,c}\)는 정답 비율이다.
둘이 어떻게 갈리는지 장난감으로 보자. 폭 2화소인 얇은 선 4개가 정답이다.
| 예측 | 화소 정확도 | IoU | 칠한 넓이 ÷ 정답 넓이 |
|---|---|---|---|
| 양옆으로 1화소씩 두껍게 | 0.80 | 0.50 | 2.00배 |
| 옆으로 1화소 밀림 | 0.80 | 0.33 | 1.00배 |
화소 정확도는 같고, IoU는 「두껍게」가 더 좋다. 하지만 면적은 「밀림」이 정확하고 「두껍게」는 두 배다.
- 칸 안에서 서로 상쇄되는 오류(위치만 틀림)는 면적에 영향이 없다.
- 한 방향으로 쌓이는 오류(가장자리를 늘 두껍게 칠함)는 면적을 계속 키운다.
- IoU와 CE는 둘을 같은 무게로 벌점한다. 얇고 흩어진 클래스일수록 경계 화소의 비중이 커서 차이가 크다.
개념 2: 같은 모델, 두 잣대
분할 논문에서 흔히 보는 방식처럼 같은 영상의 타일을 무작위 8:2로 나눠 다시 학습·채점해 봤다. 데이터·모델·설정은 그대로다.
| 검증 방식 | mIoU (시드 3개) |
|---|---|
| 같은 영상 타일 무작위 8:2 | 72.6% (73.0 / 72.4 / 72.5) |
| 학습에서 떼어 둔 공간 블록 | 50.8% |
22%p 차이다. 시드 세 개가 모여 있어 흔들림이 아니다.
- 항공 영상 타일은 옆 타일과 거의 같다(공간 자기상관).
- 무작위 분할에서는 검증 타일 바로 옆에 학습 타일이 있다. 그래서 「옆 땅을 외운 점수」가 된다.
- 공간 블록 홀드아웃은 「처음 보는 땅의 점수」에 가깝다.
이후 모든 비교는 공간 블록 홀드아웃 + 칸 면적 오차(주 지표), mIoU는 보조로 했다.
손실 설계
모델은 화소를 맞히도록 배우는데, 우리는 칸 비율을 잰다. 그러면 그 단위를 손실에 직접 넣으면 된다.
Soft Dice
\[\mathcal{L}_{Dice} = 1 - \frac{1}{C}\sum_{c} \frac{2\sum_i p_{i,c}\, g_{i,c}}{\sum_i p_{i,c} + \sum_i g_{i,c}}\]배치 전체에서 클래스별 겹침을 본다. 작은 클래스도 큰 클래스와 같은 무게를 받는다.
칸 면적 항
softmax 확률을 칸 크기로 avg_pool2d 하면 그것이 곧 「칸 안 예측 비율」이다. 정답 one-hot도 같은 방법으로 비율이 된다.
- 미분 가능하므로 역전파로 그대로 학습된다.
- \(\tfrac{1}{2}\)을 곱해 0(맞음)~1(칸 통째로 틀림) 범위로 만들었다.
- 유효 화소가 절반 미만인 칸(라벨 없는 칸)은 뺀다.
clDice (Shit et al., CVPR 2021)
가늘고 이어진 구조(혈관, 도로, 물길)의 끊김을 벌점하는 손실이다. soft skeleton(min/max pooling으로 침식·열림을 반복)으로 중심선 \(S\)를 뽑는다.
\[T_{prec} = \frac{\lvert S_P \cap G \rvert}{\lvert S_P \rvert}, \quad T_{sens} = \frac{\lvert S_G \cap P \rvert}{\lvert S_G \rvert}, \quad \mathcal{L}_{clDice} = 1 - \frac{2\,T_{prec}\,T_{sens}}{T_{prec} + T_{sens}}\]끊김에는 세고, 두께에는 무디다.
테두리 clDice라는 변형도 넣었다. 클래스 영역에서 침식한 영역을 빼 가장자리 띠를 만들고, 그 띠에 clDice를 건다. 넓은 군락의 테두리가 이어지게 하려는 것이다.
학습 전에 산수부터
GPU에 올리기 전에 CPU에서 장난감 마스크로 값을 확인했다.
| 손실 | 확인한 경우 → 값 |
|---|---|
| 칸 면적 항 | 맞춤 0 · 칸 절반 틀림 0.5 · 칸 통째로 틀림 1.0 · 라벨 없는 칸 0 |
| clDice | 맞춤 0 · 끊김 0.07 · 두꺼움 0 (CE는 2.0) · 아예 없음 0.99 |
| 테두리 clDice | 맞춤 0 · 테두리 끊김 0.23 · 톱니 0.22 · 4화소 안쪽으로 밀림 0.99 · 없음 0.98 |
테두리 clDice는 띠가 가늘어서 위치에 아주 민감하다. 테두리가 4화소만 밀려도 끊긴 것보다 훨씬 큰 벌점이 나온다.
실험
- 데이터·모델·설정·80에폭 고정, 손실만 바꿈. 6가지 × 시드 3개 = 18런.
- 주 지표: 공간 블록 검증에서 얇고 흩어진 식생 클래스(A)의 칸 면적 오차(%p). 보조: 배경, 물길의 오차와 mIoU.
| 손실 | mIoU 평균 | A 오차 평균 (시드 범위) | 기준 대비 | 배경 | 물길 |
|---|---|---|---|---|---|
| CE (기준) | 50.5 | 9.85 (9.43~10.10) | — | 11.52 | 2.24 |
| CE + Dice | 51.1 | 9.27 | −0.58 | 10.85 | 2.12 |
| CE + 칸 면적 항 | 51.4 | 9.18 | −0.67 | 10.63 | 1.97 |
| CE + Dice + 칸 면적 항 | 51.3 | 7.96 (7.60~8.17) | −1.89 (−19%) | 9.49 | 2.08 |
| 위 + clDice(물길) | 50.9 | 8.37 | −1.48 | 9.89 | 2.08 |
| 위 + 테두리 clDice(A) | 51.7 | 7.80 (7.70~7.91) | −2.05 | 9.34 | 2.04 |
며칠 뒤 같은 데이터로 하나를 더 돌렸다. 화소 CE 없이 칸 면적 항만 쓴 학습이다.
| 손실 | mIoU 평균 | A 오차 평균 (시드 범위) | 배경 |
|---|---|---|---|
| 칸 면적 항만 | 34.0 | 12.58 (9.06~15.35) | 13.93 |
CE 기준선보다도 나쁘고, 시드 편차도 가장 크다.
왜 이렇게 나왔나
- 손실을 지표에 맞추면 그 지표가 움직인다. mIoU 차이는 최대 1.2%p인데 칸 오차는 19% 줄었다. 시드 범위(7.60~8.17 vs 9.43~10.10)도 겹치지 않는다.
- Dice와 칸 면적 항은 서로 다른 크기의 「비율」을 잡는 것으로 보인다. 하나씩은 −0.6%p 정도인데, 같이 쓰면 −1.9%p다. Dice는 배치 전체 수준의 클래스 비율을, 칸 항은 칸 단위 비율을 맞춘다. (가설이고 따로 확인하지는 않았다.)
- 칸 면적 항만으로는 「어디」를 못 배운다. 감독 신호가 칸마다 화소 만여 개에서 클래스 수만큼의 숫자 몇 개로 줄어든다. 칸 안 배치는 아무렇게나 둬도 벌점이 없다. 실제로 칸 안 화소를 전부 맞바꿔도 비율만 같으면 손실이 0이다. 「어디」가 흔들리니 「얼마나」도 흔들린다. 화소 CE가 칸 항의 받침이다.
- clDice(물길)는 이득이 없었다. 물길 오차는 원래 2%p 안팎으로 작았다. 오히려 A 오차가 0.4%p 나빠졌다. 가는 구조가 따로 라벨된 데이터에서 다시 볼 일이다.
- 테두리 clDice는 숫자로는 가장 좋지만 채택 근거가 부족했다. 추가 이득(−0.16%p)이 「CE + Dice + 칸 항」의 시드 범위 안이다. 위치 민감성 때문에 학습이 흔들릴 위험도 있다.
다른 데이터셋(새로 그린 라벨)에서 재확인도 했다. 거기서는 CE, CE + Dice + 칸 항, 인코더를 ConvNeXt로 바꾼 것이 모두 0.27~0.30%p로 차이가 없었다. 검증 블록 안에 대상 클래스가 아주 조금뿐이라 지표가 포화됐기 때문이다. 이 경우 손실을 비교하려면 대상이 충분히 든 다른 구역(또는 다른 사이트)에서 채점해야 한다.
실무 정리
- 최종 산출 단위로 채점하라. 칸 비율, 개수, 길이처럼 실제로 쓰는 숫자가 있으면 그것을 주 지표로 둔다.
- 공간 데이터는 블록으로 나눠라. 무작위 타일 분할은 같은 모델을 20%p 이상 좋아 보이게 할 수 있다.
- 손실은 섞어라. 산출 단위 항은 화소 CE 위에 얹는 것이다. 대신하는 것이 아니다.
- 시드 3개 이상, 범위가 겹치는지 보라. 평균 차이만 보면 테두리 clDice를 잘못 채택할 뻔했다.
- 평가 정답은 고정된 버전으로. 작업 중인 라벨 폴더를 정답으로 가리키면, 라벨이 바뀔 때 채점이 조용히 깨지거나 달라진다.
- 검증 구역에 대상이 충분한지 먼저 본다. 없으면 지표가 포화돼 어떤 손실도 구별하지 못한다.
배운 점
avg_pool2d 한 줄이 「화소 확률 → 칸 비율」 변환이다. 아래는 예시 코드다. 클래스 수와 칸 크기만 바꾸면 바로 시험해 볼 수 있다.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
# 예시 코드: CE + Dice + 칸 면적 항
import torch
import torch.nn.functional as F
def _onehot(target, num_classes, valid):
oh = F.one_hot(target.clamp(max=num_classes - 1), num_classes)
return oh.permute(0, 3, 1, 2).float() * valid
def cell_area_loss(logits, target, cell_px, ignore_index=255, min_valid=0.5):
"""칸마다 0.5 * sum_c |예측 비율 - 정답 비율|. 0(맞음) ~ 1(통째로 틀림)."""
num_classes = logits.shape[1]
valid = (target != ignore_index).float().unsqueeze(1)
prob = logits.softmax(dim=1) * valid
onehot = _onehot(target, num_classes, valid)
valid_frac = F.avg_pool2d(valid, cell_px)
denom = valid_frac.clamp(min=1e-6)
pred_ratio = F.avg_pool2d(prob, cell_px) / denom
true_ratio = F.avg_pool2d(onehot, cell_px) / denom
tv = 0.5 * (pred_ratio - true_ratio).abs().sum(dim=1)
keep = valid_frac.squeeze(1) >= min_valid # 라벨이 절반 미만인 칸은 뺀다
if not keep.any():
return logits.sum() * 0.0
return tv[keep].mean()
def soft_dice_loss(logits, target, ignore_index=255, eps=1.0):
num_classes = logits.shape[1]
valid = (target != ignore_index).float().unsqueeze(1)
prob = logits.softmax(dim=1) * valid
onehot = _onehot(target, num_classes, valid)
inter = (prob * onehot).sum(dim=(0, 2, 3))
denom = prob.sum(dim=(0, 2, 3)) + onehot.sum(dim=(0, 2, 3))
return 1 - ((2 * inter + eps) / (denom + eps)).mean()
def total_loss(logits, target, cell_px, w_dice=1.0, w_cell=1.0):
ce = F.cross_entropy(logits, target, ignore_index=255)
dice = soft_dice_loss(logits, target)
cell = cell_area_loss(logits, target, cell_px)
return ce + w_dice * dice + w_cell * cell
# 장난감 확인: 8x8 칸 하나, 클래스 2개
def confident(labels, num_classes=2):
return F.one_hot(labels, num_classes).permute(0, 3, 1, 2).float() * 20
gt = torch.zeros(1, 8, 8, dtype=torch.long)
gt[:, :, :4] = 1 # 왼쪽 절반이 클래스 1
shifted = torch.zeros_like(gt)
shifted[:, :, 4:] = 1 # 오른쪽 절반으로 밀림: 비율은 같다
assert cell_area_loss(confident(gt), gt, 8) < 1e-6
assert cell_area_loss(confident(shifted), gt, 8) < 1e-6 # 위치 오류는 못 본다
assert abs(cell_area_loss(confident(torch.ones_like(gt)), gt, 8) - 0.5) < 1e-4
print("CE (shifted):", F.cross_entropy(confident(shifted), gt).item()) # CE는 크게 벌점
마지막 두 줄이 이 글의 요점이다. 칸 면적 항은 위치 오류를 못 보고, CE는 비율 오류를 따로 보지 못한다. 그래서 둘을 같이 쓴다.
더 찾아볼 키워드: loss-metric alignment, soft Dice loss, clDice soft skeleton (Shit et al. 2021), spatial block cross-validation, spatial autocorrelation leakage, total variation distance, boundary loss, Lovász-Softmax