Post

argmax로 세면 면적이 틀어진다: 분할 모델로 클래스 면적 비율 구하기 (확률 평균·온도 보정·클래스 문턱)

argmax로 세면 면적이 틀어진다: 분할 모델로 클래스 면적 비율 구하기 (확률 평균·온도 보정·클래스 문턱)

분할 모델로 「격자 칸마다 어떤 클래스가 몇 % 덮였나」를 구할 때, 보통은 픽셀마다 argmax를 하고 센다. 이 방법은 애매한 픽셀을 0 아니면 1로 반올림한다. 학습은 그대로 두고 계산법만 다섯 가지로 바꿔 같은 정답으로 채점했다. 칸 오차가 가장 작은 것은 확률 평균도 온도 보정도 아닌 클래스별 문턱이었다(오차 약 16% 감소). 그런데 과대 추정의 대부분은 argmax 탓이 아니라 모델 확률 자체의 치우침이었다. 숫자 하나로 하는 사후 보정은 치우침의 위치는 옮겨도 기울기는 못 고쳤다.

문제: 픽셀 지도가 아니라 「칸별 면적 비율」이 필요할 때

항공(드론) 정사 영상을 픽셀 단위로 분할하는 모델이 있다. 그런데 최종으로 필요한 값은 픽셀 지도가 아니다. 수 m 크기 격자 칸마다 클래스 면적 비율이다. 예를 들면 「이 칸은 식생 A 32%, 배경(맨땅) 60%, 물 8%」 같은 값이다.

이런 문제는 흔하다. 원격탐사의 피복 비율(fractional cover), 의료 영상의 병변 면적 비율, 농경지의 잡초 밀도 지도가 모두 같은 꼴이다.

모델을 평가해 보니 얇고 흩어진 식생 클래스 A를 칸마다 평균 +4.6%p 과대 추정했다. 특히 A가 15~50% 덮인 중간 밀도 칸에서 +7.5%p로 가장 컸다. 전체 면적으로 치면 예측 합계가 정답보다 약 15% 많았다.

첫 가설은 이랬다.

argmax가 「A 0.6 · 배경 0.4」 같은 애매한 픽셀을 100% A로 센다. 식생과 맨땅이 섞인 중간 밀도 칸에 이런 픽셀이 많아서 그 구간이 가장 부푼다.

개념: 같은 확률 지도에서 면적을 세는 네 가지 방법

칸 \(c\) 안에 픽셀 \(N_c\)개가 있고, 픽셀 \(i\)의 로짓을 \(z_i\), 클래스 \(k\) 확률을 \(p_{ik}\)라 하자.

① argmax 세기: 가장 큰 클래스 하나만 센다.

\[\hat{r}_{ck}^{\text{argmax}} = \frac{1}{N_c}\sum_{i \in c} \mathbb{1}\left[\arg\max_j p_{ij} = k\right]\]

② 확률 평균: 확률을 그대로 더한다.

\[\hat{r}_{ck}^{\text{soft}} = \frac{1}{N_c}\sum_{i \in c} p_{ik}\]

③ 온도 보정 + 평균: 로짓을 하나의 양수 \(T\)로 나눈 뒤 softmax 하고 평균한다.

\[p_{ik}^{(T)} = \mathrm{softmax}\left(z_i / T\right)_k\]

④ 클래스 문턱: 클래스 \(k\) 확률이 \(t_k\) 이상인 픽셀만 센다.

\[\hat{r}_{ck}^{\text{thr}} = \frac{1}{N_c}\sum_{i \in c} \mathbb{1}\left[p_{ik} \ge t_k\right]\]

argmax는 반올림이다

칸 안 픽셀 100개가 모두 「A 0.6 · 배경 0.4」라고 하자.

방법칸의 A 비율
argmax100%
확률 평균60%

모델 확률이 잘 보정돼 있다면(「0.6이라고 한 픽셀 중 실제로 60%가 A」) 정답의 기대값은 60%다. 기대값의 선형성 덕분에 확률 평균이 편향 없는 추정이 된다. argmax는 40%p를 부풀린다.

반대 방향도 있다. 흩어진 클래스의 픽셀이 대부분 0.3~0.45에 머물면 argmax는 그 픽셀을 전부 0으로 센다. 클래스가 셋 이상이면 「A 0.4 · B 0.35 · C 0.25」처럼 1등이 0.5에 못 미쳐도 1등이 되고, 「A 0.45 · B 0.55」처럼 2등이 되면 통째로 사라진다. 그래서 argmax는 애매한 픽셀이 0.5 위에 몰리면 부풀리고, 아래에 몰리면 줄인다. 희소한 클래스가 과소, 우세한 클래스가 과대로 가는 일이 흔한 이유다.

보정(calibration)과 온도 스케일링

  • 보정이 잘 됐다: 「0.8이라고 말한 예측 중 실제로 80%가 맞는다」.
  • 깊은 신경망은 정확도가 높아도 확률은 과신(실제보다 높게) 쪽으로 어긋나는 일이 많다(Guo et al., 2017).
  • 온도 스케일링: \(T>1\)이면 분포가 평평해지고(덜 확신), \(T<1\)이면 뾰족해진다. 로짓 순서는 그대로라 argmax(정확도)는 안 바뀐다.
  • \(T\)는 학습이 끝난 뒤, 떼어 둔 데이터에서 NLL(음의 로그우도, 교차 엔트로피와 같은 식)을 최소로 하는 값으로 맞춘다.

문턱은 확률이 아니라 결정을 옮긴다

문턱 \(t_k\)는 확률을 고치지 않는다. 「어디부터 A로 부를지」라는 결정만 옮긴다. 그래서 무엇을 최소화하느냐가 문턱을 정한다. 픽셀 F1이 가장 좋은 문턱과 칸 면적 오차가 가장 작은 문턱은 다를 수 있다. 이번에는 줄이려는 값인 칸 오차로 직접 골랐다.

실험 설계: 같은 모델, 다른 계산

flowchart LR
  I["정사 영상"] --> M["학습된 U-Net<br/>(다시 학습 안 함)"]
  M --> Z["픽셀마다 로짓 z · 확률 p<br/>추론은 한 번만"]
  Z --> A1["① argmax → 2x2 다수결"]
  Z --> A2["② argmax"]
  Z --> A3["③ 확률 평균"]
  Z --> A4["④ 온도 보정 + 평균"]
  Z --> A5["⑤ 클래스 문턱"]
  A1 --> C["격자 칸별 면적 비율"]
  A2 --> C
  A3 --> C
  A4 --> C
  A5 --> C
  C --> E["같은 정답 · 같은 칸으로 채점"]
항목내용
모델이미 학습된 U-Net(ResNet34 인코더) 하나. 다시 학습하지 않음
정답사람이 칠한 픽셀 라벨이 있는 검증 블록 2개, 약 600칸
기준선 ①argmax 지도를 2×2 다수결로 해상도 절반으로 줄인 뒤 칸 비율
보정값 맞추기\(T\)와 \(t\)는 다른 블록에서 맞추고 이 블록에서 채점(교차 맞춤), 두 방향을 칸 수로 합침
지표칸 오차(MAE, %p), 편향(평균 부호 오차), 밀도 구간별 오차

왜 계산법만 바꿨나. 모델을 새로 학습해서 비교하면 시드만 바꿔도 칸 오차가 수 %p 흔들린다. 그러면 1%p대 개선은 잡음과 구분이 안 된다. 같은 모델·같은 추론·같은 칸 위에서 계산만 바꾸면 칸마다 짝지은 비교가 된다. 작은 차이도 읽힌다.

왜 교차 맞춤인가. \(T\)와 \(t\)도 데이터에서 고르는 값이다. 고른 데이터로 채점하면 그 데이터의 우연한 잡음까지 맞춘 값이 되어 점수가 좋게 나온다(누수). 공간 데이터는 이웃 픽셀끼리 거의 같아서, 픽셀을 무작위로 나누면 누수가 그대로 남는다. 땅(블록) 단위로 나눠야 한다.

결과

클래스 A, 약 600칸, 단위 %p. 구간 열은 「오차 / 편향」이다.

계산법칸 오차편향듬성 <15%중간 15~50%빽빽 ≥50%
① argmax → 2×2 다수결9.52+4.644.96 / +0.5413.71 / +7.539.15 / +4.66
② argmax10.40+6.335.16 / +1.1314.98 / +9.7010.23 / +7.06
③ 확률 평균8.97+5.695.60 / +3.3912.93 / +9.017.41 / +3.30
④ 온도 보정 + 평균8.30+5.166.32 / +5.1111.55 / +8.226.17 / +0.53
⑤ 클래스 문턱8.01−2.064.35 / −1.2010.72 / −0.999.02 / −5.51

맞춘 값은 두 블록에서 거의 같았다. \(T \approx 1.4 \sim 1.5\), A의 문턱 \(t \approx 0.65 \sim 0.68\).

왜 이렇게 나왔나

1. argmax 가설은 일부만 맞았다

②→③(argmax → 확률 평균)에서 칸 오차는 1.4%p 줄었다. 하지만 편향은 +6.3 → +5.7로 거의 그대로였다. 중간 칸 편향도 +9.7 → +9.0이다.

argmax는 칸마다 들쭉날쭉함(흩어짐)을 키운다. 하지만 부풀림의 주범은 아니었다. 확률을 그대로 더해도 A 몫이 많다. 즉 모델이 애매한 곳에서 A 확률을 0.5 근처가 아니라 높게 낸다.

2. 온도 보정: 과신은 있었지만 방향은 못 고친다

\(T>1\)이 나왔다. 모델이 지나치게 확신한다는 뜻이다. 보정하면 빽빽 칸 편향은 +3.3 → +0.5로 좋아졌다. 대신 듬성 칸은 +3.4 → +5.1로 나빠졌다.

\(T>1\)은 모든 클래스를 함께 평평하게 만든다. 확실한 A(0.95)는 조금 내려가서 빽빽 칸이 좋아진다. 「거의 확실한 배경」에 붙은 A 확률(0.02)은 조금 올라가서 듬성 칸에 A가 새어 들어온다. \(T\)는 모든 클래스·모든 픽셀에 같은 숫자 하나라서 「A만 낮춰라」는 못 한다.

3. 문턱: 치우침의 위치를 옮긴다

문턱 0.65~0.68에서 중간 칸 편향이 거의 0(−1.0)이 됐다. 「모델이 0.5~0.65 사이로 A라고 하는 곳은 대체로 배경」이라는 뜻이다. 대가도 있다. 빽빽한 군락 안에서 확신이 조금 낮은 A까지 빠져서 빽빽 칸은 −5.5 과소가 됐다.

4. 그래도 남는 것: 기울기 < 1

정답 비율을 10%p 구간으로 나눠 평균 편향을 그려 보면 모양이 보인다. 문턱을 뺀 네 방법은 모두 정답 10~60% 칸은 과대, 70~80% 칸은 과소였다. 예측을 \(\hat{r} \approx a + b \cdot r\)로 보면 \(b<1\)이다. 예측이 정답 변화를 다 따라가지 못하는 추정기의 전형이다.

사후 보정\(a\)(위치)\(b\)(기울기)
온도 \(T>1\)거의 그대로더 줄어듦 (예측이 가운데로 모임)
문턱 \(t\)아래로 옮김그대로

그래서 문턱은 50% 이하 구간을 거의 0에 붙였지만, 높은 구간의 과소는 오히려 커졌다. 숫자 하나로 하는 사후 보정은 위치는 옮겨도 기울기는 못 고친다.

5. 확률은 왜 치우쳤나: 모델은 라벨의 섞인 비율을 배운다

흩어진 식생은 포기 사이로 맨땅이 보인다. 이 틈을 「배경」으로 칠할지, 「A 군락」으로 덩어리째 칠할지가 구역·작업자마다 달랐다.

교차 엔트로피로 학습한 모델은 같은 입력에 정답이 섞여 있으면 그 섞인 비율에 가까운 확률을 낸다. 입력 \(x\)에서 라벨이 분포 \(q(k \mid x)\)로 붙어 있으면, 기대 손실 \(-\sum_k q(k \mid x) \log p(k \mid x)\)는 \(p = q\)일 때 가장 작다. 덩어리로 칠한 구역이 많을수록 A 확률이 올라간다. 검증 블록이 상대적으로 포기 단위로 칠해졌다면, 모델 확률은 채점 정답보다 A 쪽이 된다. 확률 평균·온도 보정으로는 이 방향이 안 바뀐다.

중간 밀도 칸이 가장 크게 틀린 이유도 같다. 순수 맨땅이나 빽빽한 군락 한가운데는 작업자 사이에 이견이 없다. 이견이 나는 「성긴 곳·가장자리」가 바로 중간 밀도 칸이다.

6. 희소 클래스는 「확률 먼지」를 조심

정답 평균 비율이 3% 정도인 작은 클래스(물)도 봤다. 확률 평균과 온도 보정은 오히려 나빠졌다(칸 오차 2.3 → 2.5, 3.0). 대부분 칸이 0인데, 그 칸들에 0.01~0.05짜리 확률이 조금씩 뿌려져 쌓이기 때문이다. 문턱(0.90~0.95)은 오차를 1.9로 줄였지만 약한 과소로 바뀌었다.

7. 2×2 다수결이 argmax보다 나았던 이유

①(9.52)이 ②(10.40)보다 나았다. 2×2 다수결은 혼자 튀는 픽셀을 지우는 모드 필터(소금·후추 잡음 제거) 역할을 한다. 과대 예측이 「배경 위에 점점이 박힌 A 픽셀」 모양이라 다수결이 그것을 줄였다. 다만 이것도 「작은 반점은 버린다」는 숨은 결정이다. 성긴 칸을 체계적으로 과소로 만들 수 있다.

실무 정리

상황쓸 만한 계산
신뢰도 그림에서 확률이 잘 보정돼 있다확률 평균 (기대 면적 비율)
과신은 있지만 특정 클래스 쪽 치우침은 없다온도 보정 + 평균
특정 클래스 쪽으로 치우쳐 있다클래스별 문턱, 또는 클래스별 매개변수(벡터 스케일링, 사전확률 보정)
대부분 칸이 0인 희소 클래스확률 평균은 먼지가 쌓인다. 문턱 쪽
구간별 편향이 기울어 있다(\(b<1\))사후 보정으로는 안 됨. 라벨 규칙 통일, 학습 목표(칸 비율 손실) 쪽

공통 규칙도 있다.

  • 보정값(\(T\), \(t\))은 채점과 다른 공간 블록에서 맞춘다.
  • MAE와 편향을 같이 본다. MAE는 칸 하나하나가 얼마나 틀리는지, 편향은 총합이 한쪽으로 쏠리는지를 말한다. MAE가 커도 편향이 0이면 총량은 맞고, MAE가 작아도 편향이 크면 총량이 체계적으로 틀린다.
  • 평균 편향 0이 「모든 칸이 맞다」는 뜻은 아니다. 정답 구간별 편향 그림을 그린다.

한계: 영상 한 장, 모델 하나, 검증 블록 2개의 결과다. 문턱이 다른 장면에도 그대로 옮겨지는지는 확인하지 않았다. 정답 라벨 자체에 칠하기 방식이 섞여 있어서 절대값보다 방법끼리의 비교로 읽어야 한다.

배운 점

  • argmax 칸 비율은 「0.5를 넘은 픽셀 수」, 확률 평균은 「확률의 합 = 기대 면적」이다. 애매한 픽셀이 0.5 어느 쪽에 몰리느냐에 따라 argmax는 부풀리기도, 줄이기도 한다.
  • 확률 평균이 편향 없으려면 보정이 전제다. 확률 자체가 치우쳐 있으면 평균도 같이 치우친다.
  • 온도는 확신의 정도를, 문턱은 결정 위치를 옮긴다. 둘 다 기울기는 못 고친다.
  • 보정값을 고르는 것도 학습이다. 교차 맞춤으로 고르고, 공간 데이터는 블록 단위로 나눈다.
  • 사후 보정이 안 먹히면 라벨을 의심한다. 모델은 라벨의 섞인 비율을 그대로 배운다.

직접 해보기

아래는 개념 확인용 예시 코드다(실제 파이프라인 아님). 참 확률을 아는 장난감 칸을 만들고, 확률이 보정돼 있을 때와 치우쳐 있을 때 네 방법이 어떻게 다른지 본다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
# 예시 코드: 개념 확인용 장난감 시뮬레이션
import numpy as np
import torch
import torch.nn.functional as F

rng = np.random.default_rng(0)


def make_cell(true_ratio, n=2500, shift=0.0, sharp=3.0):
    """칸 하나. 픽셀마다 '참 확률' q 를 뽑고, 모델 확률 p 는 로짓에 shift 만큼 치우침을 더한 것."""
    q = rng.beta(true_ratio * sharp, (1 - true_ratio) * sharp, n).clip(1e-4, 1 - 1e-4)
    y = rng.random(n) < q                        # 실제 라벨 (0/1)
    logit = np.log(q / (1 - q)) + shift          # shift > 0 이면 모델이 A 쪽으로 치우침
    p = 1 / (1 + np.exp(-logit))
    return y, p


for shift in (0.0, 0.8):
    print(f"--- 로짓 치우침 shift = {shift}")
    print("정답   argmax  확률평균  문턱0.65")
    for r in (0.05, 0.2, 0.4, 0.6, 0.8):
        y, p = make_cell(r, shift=shift)
        print(f"{y.mean():.2f}   {(p >= 0.5).mean():.2f}    {p.mean():.2f}      {(p >= 0.65).mean():.2f}")
# shift=0 (보정됨): 확률 평균 = 정답, argmax 는 낮은 칸을 줄이고 높은 칸을 부풀림
# shift=0.8 (치우침): 확률 평균도 같이 부풂, 문턱은 가운데만 맞추고 양 끝은 못 맞춤


def fit_temperature(logits, labels):
    """logits: (N, C), labels: (N,). 채점에 쓰지 않을 공간 블록의 픽셀로 맞춘다."""
    grid = torch.logspace(-0.5, 0.8, 40)         # T 약 0.3 ~ 6.3
    nll = torch.stack([F.cross_entropy(logits / t, labels) for t in grid])
    return grid[nll.argmin()].item()


def ece(prob, y, bins=10):
    """이진 문제의 기대 보정 오차: 확률 구간별 |평균 확률 - 실제 비율| 의 가중 평균."""
    idx = np.minimum((prob * bins).astype(int), bins - 1)
    return sum((idx == b).mean() * abs(prob[idx == b].mean() - y[idx == b].mean())
               for b in range(bins) if (idx == b).any())


# 과신하는 모델 흉내: 참 로짓을 2배로 키운 3클래스 로짓
true_logits = torch.randn(20000, 3) * 1.5
labels = torch.distributions.Categorical(logits=true_logits).sample()
over = true_logits * 2.0
T = fit_temperature(over, labels)
p_before = F.softmax(over, 1)[:, 0].numpy()
p_after = F.softmax(over / T, 1)[:, 0].numpy()
y0 = (labels == 0).numpy()
print(f"맞춘 T = {T:.2f}, ECE {ece(p_before, y0):.3f} -> {ece(p_after, y0):.3f}")
# 맞춘 T 가 2.0 근처로 나오고 ECE 가 크게 준다

더 찾아볼 키워드

  • Guo et al. 2017, On Calibration of Modern Neural Networks — temperature / vector / matrix scaling, Dirichlet calibration
  • reliability diagram, expected calibration error(ECE), Brier score, proper scoring rule
  • semantic segmentation calibration, softmax entropy, MC dropout, deep ensembles
  • decision threshold tuning, prior shift / label shift 보정
  • cross-fitting, nested cross-validation, spatial (block) cross-validation
  • area estimation from classified maps(오분류 행렬 기반 면적 보정), fractional cover, soft classification
  • regression dilution(기울기 < 1), learning with noisy labels, annotator disagreement
This post is licensed under CC BY 4.0 by the author.