Post

mIoU는 그대로인데 면적 오차는 19% 줄었다: 분할 모델을 칸 면적으로 채점하고 손실도 맞추기 (CE·Dice·칸 면적 항·clDice)

mIoU는 그대로인데 면적 오차는 19% 줄었다: 분할 모델을 칸 면적으로 채점하고 손실도 맞추기 (CE·Dice·칸 면적 항·clDice)

항공(드론) 정사 영상 분할 모델의 결과물로 실제로 쓰는 숫자는 지도가 아니라 「격자 칸마다 각 클래스가 차지한 면적 비율」이었다. 화소 단위 손실(CE)로 학습하고 mIoU로 모델을 고르면, 이 숫자는 따로 논다. 채점을 칸 면적 오차로 바꾸고 손실에 CE + Dice + 칸 면적 항을 함께 넣자, 얇은 식생 클래스의 칸 오차가 19% 줄었다. mIoU는 1%p 안팎만 움직였다. 칸 면적 항 하나만으로 학습하면 오히려 CE보다 나빴다.

질문

  • 모델: U-Net(ResNet34 인코더), 입력은 RGB + 높이 4채널.
  • 학습: 가중 CE(화소마다 독립 벌점). 모델 선택: 검증 mIoU.
  • 실제로 쓰는 값: 수 m 크기 격자 칸마다 「클래스별 면적 비율」. 한 칸에 화소가 만 개 넘게 들어간다.

그래서 두 가지를 물었다.

  1. 지금 채점이 우리가 쓰는 숫자를 재고 있나?
  2. 손실이 그 숫자를 공부하게 만들고 있나?

개념 1: 화소 지표와 면적 지표는 다른 것을 잰다

IoU(Intersection over Union)는 「예측과 정답이 겹친 넓이 ÷ 둘을 합친 넓이」다. mIoU는 이것을 클래스마다 구해 평균한 값이다. 칸 면적 오차는 칸마다 「예측 비율 − 정답 비율」의 절댓값을 평균한 값이다.

\[\hat r_{k,c} = \frac{1}{\lvert k \rvert}\sum_{i \in k} p_{i,c}, \qquad E_c = \frac{1}{N}\sum_{k=1}^{N} \left\lvert \hat r_{k,c} - r_{k,c} \right\rvert\]

여기서 \(k\)는 칸, \(p_{i,c}\)는 화소 \(i\)가 클래스 \(c\)일 확률(또는 0/1 예측), \(r_{k,c}\)는 정답 비율이다.

둘이 어떻게 갈리는지 장난감으로 보자. 폭 2화소인 얇은 선 4개가 정답이다.

예측화소 정확도IoU칠한 넓이 ÷ 정답 넓이
양옆으로 1화소씩 두껍게0.800.502.00배
옆으로 1화소 밀림0.800.331.00배

화소 정확도는 같고, IoU는 「두껍게」가 더 좋다. 하지만 면적은 「밀림」이 정확하고 「두껍게」는 두 배다.

  • 칸 안에서 서로 상쇄되는 오류(위치만 틀림)는 면적에 영향이 없다.
  • 한 방향으로 쌓이는 오류(가장자리를 늘 두껍게 칠함)는 면적을 계속 키운다.
  • IoU와 CE는 둘을 같은 무게로 벌점한다. 얇고 흩어진 클래스일수록 경계 화소의 비중이 커서 차이가 크다.

개념 2: 같은 모델, 두 잣대

분할 논문에서 흔히 보는 방식처럼 같은 영상의 타일을 무작위 8:2로 나눠 다시 학습·채점해 봤다. 데이터·모델·설정은 그대로다.

검증 방식mIoU (시드 3개)
같은 영상 타일 무작위 8:272.6% (73.0 / 72.4 / 72.5)
학습에서 떼어 둔 공간 블록50.8%

22%p 차이다. 시드 세 개가 모여 있어 흔들림이 아니다.

  • 항공 영상 타일은 옆 타일과 거의 같다(공간 자기상관).
  • 무작위 분할에서는 검증 타일 바로 옆에 학습 타일이 있다. 그래서 「옆 땅을 외운 점수」가 된다.
  • 공간 블록 홀드아웃은 「처음 보는 땅의 점수」에 가깝다.

이후 모든 비교는 공간 블록 홀드아웃 + 칸 면적 오차(주 지표), mIoU는 보조로 했다.

손실 설계

모델은 화소를 맞히도록 배우는데, 우리는 칸 비율을 잰다. 그러면 그 단위를 손실에 직접 넣으면 된다.

Soft Dice

\[\mathcal{L}_{Dice} = 1 - \frac{1}{C}\sum_{c} \frac{2\sum_i p_{i,c}\, g_{i,c}}{\sum_i p_{i,c} + \sum_i g_{i,c}}\]

배치 전체에서 클래스별 겹침을 본다. 작은 클래스도 큰 클래스와 같은 무게를 받는다.

칸 면적 항

softmax 확률을 칸 크기로 avg_pool2d 하면 그것이 곧 「칸 안 예측 비율」이다. 정답 one-hot도 같은 방법으로 비율이 된다.

\[\mathcal{L}_{cell} = \frac{1}{N}\sum_{k} \frac{1}{2}\sum_{c} \left\lvert \hat r_{k,c} - r_{k,c} \right\rvert\]
  • 미분 가능하므로 역전파로 그대로 학습된다.
  • \(\tfrac{1}{2}\)을 곱해 0(맞음)~1(칸 통째로 틀림) 범위로 만들었다.
  • 유효 화소가 절반 미만인 칸(라벨 없는 칸)은 뺀다.

clDice (Shit et al., CVPR 2021)

가늘고 이어진 구조(혈관, 도로, 물길)의 끊김을 벌점하는 손실이다. soft skeleton(min/max pooling으로 침식·열림을 반복)으로 중심선 \(S\)를 뽑는다.

\[T_{prec} = \frac{\lvert S_P \cap G \rvert}{\lvert S_P \rvert}, \quad T_{sens} = \frac{\lvert S_G \cap P \rvert}{\lvert S_G \rvert}, \quad \mathcal{L}_{clDice} = 1 - \frac{2\,T_{prec}\,T_{sens}}{T_{prec} + T_{sens}}\]

끊김에는 세고, 두께에는 무디다.

테두리 clDice라는 변형도 넣었다. 클래스 영역에서 침식한 영역을 빼 가장자리 띠를 만들고, 그 띠에 clDice를 건다. 넓은 군락의 테두리가 이어지게 하려는 것이다.

학습 전에 산수부터

GPU에 올리기 전에 CPU에서 장난감 마스크로 값을 확인했다.

손실확인한 경우 → 값
칸 면적 항맞춤 0 · 칸 절반 틀림 0.5 · 칸 통째로 틀림 1.0 · 라벨 없는 칸 0
clDice맞춤 0 · 끊김 0.07 · 두꺼움 0 (CE는 2.0) · 아예 없음 0.99
테두리 clDice맞춤 0 · 테두리 끊김 0.23 · 톱니 0.22 · 4화소 안쪽으로 밀림 0.99 · 없음 0.98

테두리 clDice는 띠가 가늘어서 위치에 아주 민감하다. 테두리가 4화소만 밀려도 끊긴 것보다 훨씬 큰 벌점이 나온다.

실험

  • 데이터·모델·설정·80에폭 고정, 손실만 바꿈. 6가지 × 시드 3개 = 18런.
  • 주 지표: 공간 블록 검증에서 얇고 흩어진 식생 클래스(A)의 칸 면적 오차(%p). 보조: 배경, 물길의 오차와 mIoU.
손실mIoU 평균A 오차 평균 (시드 범위)기준 대비배경물길
CE (기준)50.59.85 (9.43~10.10)—11.522.24
CE + Dice51.19.27−0.5810.852.12
CE + 칸 면적 항51.49.18−0.6710.631.97
CE + Dice + 칸 면적 항51.37.96 (7.60~8.17)−1.89 (−19%)9.492.08
위 + clDice(물길)50.98.37−1.489.892.08
위 + 테두리 clDice(A)51.77.80 (7.70~7.91)−2.059.342.04

며칠 뒤 같은 데이터로 하나를 더 돌렸다. 화소 CE 없이 칸 면적 항만 쓴 학습이다.

손실mIoU 평균A 오차 평균 (시드 범위)배경
칸 면적 항만34.012.58 (9.06~15.35)13.93

CE 기준선보다도 나쁘고, 시드 편차도 가장 크다.

왜 이렇게 나왔나

  1. 손실을 지표에 맞추면 그 지표가 움직인다. mIoU 차이는 최대 1.2%p인데 칸 오차는 19% 줄었다. 시드 범위(7.60~8.17 vs 9.43~10.10)도 겹치지 않는다.
  2. Dice와 칸 면적 항은 서로 다른 크기의 「비율」을 잡는 것으로 보인다. 하나씩은 −0.6%p 정도인데, 같이 쓰면 −1.9%p다. Dice는 배치 전체 수준의 클래스 비율을, 칸 항은 칸 단위 비율을 맞춘다. (가설이고 따로 확인하지는 않았다.)
  3. 칸 면적 항만으로는 「어디」를 못 배운다. 감독 신호가 칸마다 화소 만여 개에서 클래스 수만큼의 숫자 몇 개로 줄어든다. 칸 안 배치는 아무렇게나 둬도 벌점이 없다. 실제로 칸 안 화소를 전부 맞바꿔도 비율만 같으면 손실이 0이다. 「어디」가 흔들리니 「얼마나」도 흔들린다. 화소 CE가 칸 항의 받침이다.
  4. clDice(물길)는 이득이 없었다. 물길 오차는 원래 2%p 안팎으로 작았다. 오히려 A 오차가 0.4%p 나빠졌다. 가는 구조가 따로 라벨된 데이터에서 다시 볼 일이다.
  5. 테두리 clDice는 숫자로는 가장 좋지만 채택 근거가 부족했다. 추가 이득(−0.16%p)이 「CE + Dice + 칸 항」의 시드 범위 안이다. 위치 민감성 때문에 학습이 흔들릴 위험도 있다.

다른 데이터셋(새로 그린 라벨)에서 재확인도 했다. 거기서는 CE, CE + Dice + 칸 항, 인코더를 ConvNeXt로 바꾼 것이 모두 0.27~0.30%p로 차이가 없었다. 검증 블록 안에 대상 클래스가 아주 조금뿐이라 지표가 포화됐기 때문이다. 이 경우 손실을 비교하려면 대상이 충분히 든 다른 구역(또는 다른 사이트)에서 채점해야 한다.

실무 정리

  • 최종 산출 단위로 채점하라. 칸 비율, 개수, 길이처럼 실제로 쓰는 숫자가 있으면 그것을 주 지표로 둔다.
  • 공간 데이터는 블록으로 나눠라. 무작위 타일 분할은 같은 모델을 20%p 이상 좋아 보이게 할 수 있다.
  • 손실은 섞어라. 산출 단위 항은 화소 CE 위에 얹는 것이다. 대신하는 것이 아니다.
  • 시드 3개 이상, 범위가 겹치는지 보라. 평균 차이만 보면 테두리 clDice를 잘못 채택할 뻔했다.
  • 평가 정답은 고정된 버전으로. 작업 중인 라벨 폴더를 정답으로 가리키면, 라벨이 바뀔 때 채점이 조용히 깨지거나 달라진다.
  • 검증 구역에 대상이 충분한지 먼저 본다. 없으면 지표가 포화돼 어떤 손실도 구별하지 못한다.

배운 점

avg_pool2d 한 줄이 「화소 확률 → 칸 비율」 변환이다. 아래는 예시 코드다. 클래스 수와 칸 크기만 바꾸면 바로 시험해 볼 수 있다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
# 예시 코드: CE + Dice + 칸 면적 항
import torch
import torch.nn.functional as F


def _onehot(target, num_classes, valid):
    oh = F.one_hot(target.clamp(max=num_classes - 1), num_classes)
    return oh.permute(0, 3, 1, 2).float() * valid


def cell_area_loss(logits, target, cell_px, ignore_index=255, min_valid=0.5):
    """칸마다 0.5 * sum_c |예측 비율 - 정답 비율|. 0(맞음) ~ 1(통째로 틀림)."""
    num_classes = logits.shape[1]
    valid = (target != ignore_index).float().unsqueeze(1)
    prob = logits.softmax(dim=1) * valid
    onehot = _onehot(target, num_classes, valid)

    valid_frac = F.avg_pool2d(valid, cell_px)
    denom = valid_frac.clamp(min=1e-6)
    pred_ratio = F.avg_pool2d(prob, cell_px) / denom
    true_ratio = F.avg_pool2d(onehot, cell_px) / denom

    tv = 0.5 * (pred_ratio - true_ratio).abs().sum(dim=1)
    keep = valid_frac.squeeze(1) >= min_valid  # 라벨이 절반 미만인 칸은 뺀다
    if not keep.any():
        return logits.sum() * 0.0
    return tv[keep].mean()


def soft_dice_loss(logits, target, ignore_index=255, eps=1.0):
    num_classes = logits.shape[1]
    valid = (target != ignore_index).float().unsqueeze(1)
    prob = logits.softmax(dim=1) * valid
    onehot = _onehot(target, num_classes, valid)
    inter = (prob * onehot).sum(dim=(0, 2, 3))
    denom = prob.sum(dim=(0, 2, 3)) + onehot.sum(dim=(0, 2, 3))
    return 1 - ((2 * inter + eps) / (denom + eps)).mean()


def total_loss(logits, target, cell_px, w_dice=1.0, w_cell=1.0):
    ce = F.cross_entropy(logits, target, ignore_index=255)
    dice = soft_dice_loss(logits, target)
    cell = cell_area_loss(logits, target, cell_px)
    return ce + w_dice * dice + w_cell * cell


# 장난감 확인: 8x8 칸 하나, 클래스 2개
def confident(labels, num_classes=2):
    return F.one_hot(labels, num_classes).permute(0, 3, 1, 2).float() * 20


gt = torch.zeros(1, 8, 8, dtype=torch.long)
gt[:, :, :4] = 1                      # 왼쪽 절반이 클래스 1
shifted = torch.zeros_like(gt)
shifted[:, :, 4:] = 1                 # 오른쪽 절반으로 밀림: 비율은 같다

assert cell_area_loss(confident(gt), gt, 8) < 1e-6
assert cell_area_loss(confident(shifted), gt, 8) < 1e-6           # 위치 오류는 못 본다
assert abs(cell_area_loss(confident(torch.ones_like(gt)), gt, 8) - 0.5) < 1e-4
print("CE  (shifted):", F.cross_entropy(confident(shifted), gt).item())  # CE는 크게 벌점

마지막 두 줄이 이 글의 요점이다. 칸 면적 항은 위치 오류를 못 보고, CE는 비율 오류를 따로 보지 못한다. 그래서 둘을 같이 쓴다.

더 찾아볼 키워드: loss-metric alignment, soft Dice loss, clDice soft skeleton (Shit et al. 2021), spatial block cross-validation, spatial autocorrelation leakage, total variation distance, boundary loss, Lovász-Softmax

This post is licensed under CC BY 4.0 by the author.