argmax로 세면 면적이 틀어진다: 분할 모델로 클래스 면적 비율 구하기 (확률 평균·온도 보정·클래스 문턱)
분할 모델로 「격자 칸마다 어떤 클래스가 몇 % 덮였나」를 구할 때, 보통은 픽셀마다 argmax를 하고 센다. 이 방법은 애매한 픽셀을 0 아니면 1로 반올림한다. 학습은 그대로 두고 계산법만 다섯 가지로 바꿔 같은 정답으로 채점했다. 칸 오차가 가장 작은 것은 확률 평균도 온도 보정도 아닌 클래스별 문턱이었다(오차 약 16% 감소). 그런데 과대 추정의 대부분은 argmax 탓이 아니라 모델 확률 자체의 치우침이었다. 숫자 하나로 하는 사후 보정은 치우침의 위치는 옮겨도 기울기는 못 고쳤다.
문제: 픽셀 지도가 아니라 「칸별 면적 비율」이 필요할 때
항공(드론) 정사 영상을 픽셀 단위로 분할하는 모델이 있다. 그런데 최종으로 필요한 값은 픽셀 지도가 아니다. 수 m 크기 격자 칸마다 클래스 면적 비율이다. 예를 들면 「이 칸은 식생 A 32%, 배경(맨땅) 60%, 물 8%」 같은 값이다.
이런 문제는 흔하다. 원격탐사의 피복 비율(fractional cover), 의료 영상의 병변 면적 비율, 농경지의 잡초 밀도 지도가 모두 같은 꼴이다.
모델을 평가해 보니 얇고 흩어진 식생 클래스 A를 칸마다 평균 +4.6%p 과대 추정했다. 특히 A가 15~50% 덮인 중간 밀도 칸에서 +7.5%p로 가장 컸다. 전체 면적으로 치면 예측 합계가 정답보다 약 15% 많았다.
첫 가설은 이랬다.
argmax가 「A 0.6 · 배경 0.4」 같은 애매한 픽셀을 100% A로 센다. 식생과 맨땅이 섞인 중간 밀도 칸에 이런 픽셀이 많아서 그 구간이 가장 부푼다.
개념: 같은 확률 지도에서 면적을 세는 네 가지 방법
칸 \(c\) 안에 픽셀 \(N_c\)개가 있고, 픽셀 \(i\)의 로짓을 \(z_i\), 클래스 \(k\) 확률을 \(p_{ik}\)라 하자.
① argmax 세기: 가장 큰 클래스 하나만 센다.
\[\hat{r}_{ck}^{\text{argmax}} = \frac{1}{N_c}\sum_{i \in c} \mathbb{1}\left[\arg\max_j p_{ij} = k\right]\]② 확률 평균: 확률을 그대로 더한다.
\[\hat{r}_{ck}^{\text{soft}} = \frac{1}{N_c}\sum_{i \in c} p_{ik}\]③ 온도 보정 + 평균: 로짓을 하나의 양수 \(T\)로 나눈 뒤 softmax 하고 평균한다.
\[p_{ik}^{(T)} = \mathrm{softmax}\left(z_i / T\right)_k\]④ 클래스 문턱: 클래스 \(k\) 확률이 \(t_k\) 이상인 픽셀만 센다.
\[\hat{r}_{ck}^{\text{thr}} = \frac{1}{N_c}\sum_{i \in c} \mathbb{1}\left[p_{ik} \ge t_k\right]\]argmax는 반올림이다
칸 안 픽셀 100개가 모두 「A 0.6 · 배경 0.4」라고 하자.
| 방법 | 칸의 A 비율 |
|---|---|
| argmax | 100% |
| 확률 평균 | 60% |
모델 확률이 잘 보정돼 있다면(「0.6이라고 한 픽셀 중 실제로 60%가 A」) 정답의 기대값은 60%다. 기대값의 선형성 덕분에 확률 평균이 편향 없는 추정이 된다. argmax는 40%p를 부풀린다.
반대 방향도 있다. 흩어진 클래스의 픽셀이 대부분 0.3~0.45에 머물면 argmax는 그 픽셀을 전부 0으로 센다. 클래스가 셋 이상이면 「A 0.4 · B 0.35 · C 0.25」처럼 1등이 0.5에 못 미쳐도 1등이 되고, 「A 0.45 · B 0.55」처럼 2등이 되면 통째로 사라진다. 그래서 argmax는 애매한 픽셀이 0.5 위에 몰리면 부풀리고, 아래에 몰리면 줄인다. 희소한 클래스가 과소, 우세한 클래스가 과대로 가는 일이 흔한 이유다.
보정(calibration)과 온도 스케일링
- 보정이 잘 됐다: 「0.8이라고 말한 예측 중 실제로 80%가 맞는다」.
- 깊은 신경망은 정확도가 높아도 확률은 과신(실제보다 높게) 쪽으로 어긋나는 일이 많다(Guo et al., 2017).
- 온도 스케일링: \(T>1\)이면 분포가 평평해지고(덜 확신), \(T<1\)이면 뾰족해진다. 로짓 순서는 그대로라 argmax(정확도)는 안 바뀐다.
- \(T\)는 학습이 끝난 뒤, 떼어 둔 데이터에서 NLL(음의 로그우도, 교차 엔트로피와 같은 식)을 최소로 하는 값으로 맞춘다.
문턱은 확률이 아니라 결정을 옮긴다
문턱 \(t_k\)는 확률을 고치지 않는다. 「어디부터 A로 부를지」라는 결정만 옮긴다. 그래서 무엇을 최소화하느냐가 문턱을 정한다. 픽셀 F1이 가장 좋은 문턱과 칸 면적 오차가 가장 작은 문턱은 다를 수 있다. 이번에는 줄이려는 값인 칸 오차로 직접 골랐다.
실험 설계: 같은 모델, 다른 계산
flowchart LR
I["정사 영상"] --> M["학습된 U-Net<br/>(다시 학습 안 함)"]
M --> Z["픽셀마다 로짓 z · 확률 p<br/>추론은 한 번만"]
Z --> A1["① argmax → 2x2 다수결"]
Z --> A2["② argmax"]
Z --> A3["③ 확률 평균"]
Z --> A4["④ 온도 보정 + 평균"]
Z --> A5["⑤ 클래스 문턱"]
A1 --> C["격자 칸별 면적 비율"]
A2 --> C
A3 --> C
A4 --> C
A5 --> C
C --> E["같은 정답 · 같은 칸으로 채점"]
| 항목 | 내용 |
|---|---|
| 모델 | 이미 학습된 U-Net(ResNet34 인코더) 하나. 다시 학습하지 않음 |
| 정답 | 사람이 칠한 픽셀 라벨이 있는 검증 블록 2개, 약 600칸 |
| 기준선 ① | argmax 지도를 2×2 다수결로 해상도 절반으로 줄인 뒤 칸 비율 |
| 보정값 맞추기 | \(T\)와 \(t\)는 다른 블록에서 맞추고 이 블록에서 채점(교차 맞춤), 두 방향을 칸 수로 합침 |
| 지표 | 칸 오차(MAE, %p), 편향(평균 부호 오차), 밀도 구간별 오차 |
왜 계산법만 바꿨나. 모델을 새로 학습해서 비교하면 시드만 바꿔도 칸 오차가 수 %p 흔들린다. 그러면 1%p대 개선은 잡음과 구분이 안 된다. 같은 모델·같은 추론·같은 칸 위에서 계산만 바꾸면 칸마다 짝지은 비교가 된다. 작은 차이도 읽힌다.
왜 교차 맞춤인가. \(T\)와 \(t\)도 데이터에서 고르는 값이다. 고른 데이터로 채점하면 그 데이터의 우연한 잡음까지 맞춘 값이 되어 점수가 좋게 나온다(누수). 공간 데이터는 이웃 픽셀끼리 거의 같아서, 픽셀을 무작위로 나누면 누수가 그대로 남는다. 땅(블록) 단위로 나눠야 한다.
결과
클래스 A, 약 600칸, 단위 %p. 구간 열은 「오차 / 편향」이다.
| 계산법 | 칸 오차 | 편향 | 듬성 <15% | 중간 15~50% | 빽빽 ≥50% |
|---|---|---|---|---|---|
| ① argmax → 2×2 다수결 | 9.52 | +4.64 | 4.96 / +0.54 | 13.71 / +7.53 | 9.15 / +4.66 |
| ② argmax | 10.40 | +6.33 | 5.16 / +1.13 | 14.98 / +9.70 | 10.23 / +7.06 |
| ③ 확률 평균 | 8.97 | +5.69 | 5.60 / +3.39 | 12.93 / +9.01 | 7.41 / +3.30 |
| ④ 온도 보정 + 평균 | 8.30 | +5.16 | 6.32 / +5.11 | 11.55 / +8.22 | 6.17 / +0.53 |
| ⑤ 클래스 문턱 | 8.01 | −2.06 | 4.35 / −1.20 | 10.72 / −0.99 | 9.02 / −5.51 |
맞춘 값은 두 블록에서 거의 같았다. \(T \approx 1.4 \sim 1.5\), A의 문턱 \(t \approx 0.65 \sim 0.68\).
왜 이렇게 나왔나
1. argmax 가설은 일부만 맞았다
②→③(argmax → 확률 평균)에서 칸 오차는 1.4%p 줄었다. 하지만 편향은 +6.3 → +5.7로 거의 그대로였다. 중간 칸 편향도 +9.7 → +9.0이다.
argmax는 칸마다 들쭉날쭉함(흩어짐)을 키운다. 하지만 부풀림의 주범은 아니었다. 확률을 그대로 더해도 A 몫이 많다. 즉 모델이 애매한 곳에서 A 확률을 0.5 근처가 아니라 높게 낸다.
2. 온도 보정: 과신은 있었지만 방향은 못 고친다
\(T>1\)이 나왔다. 모델이 지나치게 확신한다는 뜻이다. 보정하면 빽빽 칸 편향은 +3.3 → +0.5로 좋아졌다. 대신 듬성 칸은 +3.4 → +5.1로 나빠졌다.
\(T>1\)은 모든 클래스를 함께 평평하게 만든다. 확실한 A(0.95)는 조금 내려가서 빽빽 칸이 좋아진다. 「거의 확실한 배경」에 붙은 A 확률(0.02)은 조금 올라가서 듬성 칸에 A가 새어 들어온다. \(T\)는 모든 클래스·모든 픽셀에 같은 숫자 하나라서 「A만 낮춰라」는 못 한다.
3. 문턱: 치우침의 위치를 옮긴다
문턱 0.65~0.68에서 중간 칸 편향이 거의 0(−1.0)이 됐다. 「모델이 0.5~0.65 사이로 A라고 하는 곳은 대체로 배경」이라는 뜻이다. 대가도 있다. 빽빽한 군락 안에서 확신이 조금 낮은 A까지 빠져서 빽빽 칸은 −5.5 과소가 됐다.
4. 그래도 남는 것: 기울기 < 1
정답 비율을 10%p 구간으로 나눠 평균 편향을 그려 보면 모양이 보인다. 문턱을 뺀 네 방법은 모두 정답 10~60% 칸은 과대, 70~80% 칸은 과소였다. 예측을 \(\hat{r} \approx a + b \cdot r\)로 보면 \(b<1\)이다. 예측이 정답 변화를 다 따라가지 못하는 추정기의 전형이다.
| 사후 보정 | \(a\)(위치) | \(b\)(기울기) |
|---|---|---|
| 온도 \(T>1\) | 거의 그대로 | 더 줄어듦 (예측이 가운데로 모임) |
| 문턱 \(t\) | 아래로 옮김 | 그대로 |
그래서 문턱은 50% 이하 구간을 거의 0에 붙였지만, 높은 구간의 과소는 오히려 커졌다. 숫자 하나로 하는 사후 보정은 위치는 옮겨도 기울기는 못 고친다.
5. 확률은 왜 치우쳤나: 모델은 라벨의 섞인 비율을 배운다
흩어진 식생은 포기 사이로 맨땅이 보인다. 이 틈을 「배경」으로 칠할지, 「A 군락」으로 덩어리째 칠할지가 구역·작업자마다 달랐다.
교차 엔트로피로 학습한 모델은 같은 입력에 정답이 섞여 있으면 그 섞인 비율에 가까운 확률을 낸다. 입력 \(x\)에서 라벨이 분포 \(q(k \mid x)\)로 붙어 있으면, 기대 손실 \(-\sum_k q(k \mid x) \log p(k \mid x)\)는 \(p = q\)일 때 가장 작다. 덩어리로 칠한 구역이 많을수록 A 확률이 올라간다. 검증 블록이 상대적으로 포기 단위로 칠해졌다면, 모델 확률은 채점 정답보다 A 쪽이 된다. 확률 평균·온도 보정으로는 이 방향이 안 바뀐다.
중간 밀도 칸이 가장 크게 틀린 이유도 같다. 순수 맨땅이나 빽빽한 군락 한가운데는 작업자 사이에 이견이 없다. 이견이 나는 「성긴 곳·가장자리」가 바로 중간 밀도 칸이다.
6. 희소 클래스는 「확률 먼지」를 조심
정답 평균 비율이 3% 정도인 작은 클래스(물)도 봤다. 확률 평균과 온도 보정은 오히려 나빠졌다(칸 오차 2.3 → 2.5, 3.0). 대부분 칸이 0인데, 그 칸들에 0.01~0.05짜리 확률이 조금씩 뿌려져 쌓이기 때문이다. 문턱(0.90~0.95)은 오차를 1.9로 줄였지만 약한 과소로 바뀌었다.
7. 2×2 다수결이 argmax보다 나았던 이유
①(9.52)이 ②(10.40)보다 나았다. 2×2 다수결은 혼자 튀는 픽셀을 지우는 모드 필터(소금·후추 잡음 제거) 역할을 한다. 과대 예측이 「배경 위에 점점이 박힌 A 픽셀」 모양이라 다수결이 그것을 줄였다. 다만 이것도 「작은 반점은 버린다」는 숨은 결정이다. 성긴 칸을 체계적으로 과소로 만들 수 있다.
실무 정리
| 상황 | 쓸 만한 계산 |
|---|---|
| 신뢰도 그림에서 확률이 잘 보정돼 있다 | 확률 평균 (기대 면적 비율) |
| 과신은 있지만 특정 클래스 쪽 치우침은 없다 | 온도 보정 + 평균 |
| 특정 클래스 쪽으로 치우쳐 있다 | 클래스별 문턱, 또는 클래스별 매개변수(벡터 스케일링, 사전확률 보정) |
| 대부분 칸이 0인 희소 클래스 | 확률 평균은 먼지가 쌓인다. 문턱 쪽 |
| 구간별 편향이 기울어 있다(\(b<1\)) | 사후 보정으로는 안 됨. 라벨 규칙 통일, 학습 목표(칸 비율 손실) 쪽 |
공통 규칙도 있다.
- 보정값(\(T\), \(t\))은 채점과 다른 공간 블록에서 맞춘다.
- MAE와 편향을 같이 본다. MAE는 칸 하나하나가 얼마나 틀리는지, 편향은 총합이 한쪽으로 쏠리는지를 말한다. MAE가 커도 편향이 0이면 총량은 맞고, MAE가 작아도 편향이 크면 총량이 체계적으로 틀린다.
- 평균 편향 0이 「모든 칸이 맞다」는 뜻은 아니다. 정답 구간별 편향 그림을 그린다.
한계: 영상 한 장, 모델 하나, 검증 블록 2개의 결과다. 문턱이 다른 장면에도 그대로 옮겨지는지는 확인하지 않았다. 정답 라벨 자체에 칠하기 방식이 섞여 있어서 절대값보다 방법끼리의 비교로 읽어야 한다.
배운 점
- argmax 칸 비율은 「0.5를 넘은 픽셀 수」, 확률 평균은 「확률의 합 = 기대 면적」이다. 애매한 픽셀이 0.5 어느 쪽에 몰리느냐에 따라 argmax는 부풀리기도, 줄이기도 한다.
- 확률 평균이 편향 없으려면 보정이 전제다. 확률 자체가 치우쳐 있으면 평균도 같이 치우친다.
- 온도는 확신의 정도를, 문턱은 결정 위치를 옮긴다. 둘 다 기울기는 못 고친다.
- 보정값을 고르는 것도 학습이다. 교차 맞춤으로 고르고, 공간 데이터는 블록 단위로 나눈다.
- 사후 보정이 안 먹히면 라벨을 의심한다. 모델은 라벨의 섞인 비율을 그대로 배운다.
직접 해보기
아래는 개념 확인용 예시 코드다(실제 파이프라인 아님). 참 확률을 아는 장난감 칸을 만들고, 확률이 보정돼 있을 때와 치우쳐 있을 때 네 방법이 어떻게 다른지 본다.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
# 예시 코드: 개념 확인용 장난감 시뮬레이션
import numpy as np
import torch
import torch.nn.functional as F
rng = np.random.default_rng(0)
def make_cell(true_ratio, n=2500, shift=0.0, sharp=3.0):
"""칸 하나. 픽셀마다 '참 확률' q 를 뽑고, 모델 확률 p 는 로짓에 shift 만큼 치우침을 더한 것."""
q = rng.beta(true_ratio * sharp, (1 - true_ratio) * sharp, n).clip(1e-4, 1 - 1e-4)
y = rng.random(n) < q # 실제 라벨 (0/1)
logit = np.log(q / (1 - q)) + shift # shift > 0 이면 모델이 A 쪽으로 치우침
p = 1 / (1 + np.exp(-logit))
return y, p
for shift in (0.0, 0.8):
print(f"--- 로짓 치우침 shift = {shift}")
print("정답 argmax 확률평균 문턱0.65")
for r in (0.05, 0.2, 0.4, 0.6, 0.8):
y, p = make_cell(r, shift=shift)
print(f"{y.mean():.2f} {(p >= 0.5).mean():.2f} {p.mean():.2f} {(p >= 0.65).mean():.2f}")
# shift=0 (보정됨): 확률 평균 = 정답, argmax 는 낮은 칸을 줄이고 높은 칸을 부풀림
# shift=0.8 (치우침): 확률 평균도 같이 부풂, 문턱은 가운데만 맞추고 양 끝은 못 맞춤
def fit_temperature(logits, labels):
"""logits: (N, C), labels: (N,). 채점에 쓰지 않을 공간 블록의 픽셀로 맞춘다."""
grid = torch.logspace(-0.5, 0.8, 40) # T 약 0.3 ~ 6.3
nll = torch.stack([F.cross_entropy(logits / t, labels) for t in grid])
return grid[nll.argmin()].item()
def ece(prob, y, bins=10):
"""이진 문제의 기대 보정 오차: 확률 구간별 |평균 확률 - 실제 비율| 의 가중 평균."""
idx = np.minimum((prob * bins).astype(int), bins - 1)
return sum((idx == b).mean() * abs(prob[idx == b].mean() - y[idx == b].mean())
for b in range(bins) if (idx == b).any())
# 과신하는 모델 흉내: 참 로짓을 2배로 키운 3클래스 로짓
true_logits = torch.randn(20000, 3) * 1.5
labels = torch.distributions.Categorical(logits=true_logits).sample()
over = true_logits * 2.0
T = fit_temperature(over, labels)
p_before = F.softmax(over, 1)[:, 0].numpy()
p_after = F.softmax(over / T, 1)[:, 0].numpy()
y0 = (labels == 0).numpy()
print(f"맞춘 T = {T:.2f}, ECE {ece(p_before, y0):.3f} -> {ece(p_after, y0):.3f}")
# 맞춘 T 가 2.0 근처로 나오고 ECE 가 크게 준다
더 찾아볼 키워드
- Guo et al. 2017, On Calibration of Modern Neural Networks — temperature / vector / matrix scaling, Dirichlet calibration
- reliability diagram, expected calibration error(ECE), Brier score, proper scoring rule
- semantic segmentation calibration, softmax entropy, MC dropout, deep ensembles
- decision threshold tuning, prior shift / label shift 보정
- cross-fitting, nested cross-validation, spatial (block) cross-validation
- area estimation from classified maps(오분류 행렬 기반 면적 보정), fractional cover, soft classification
- regression dilution(기울기 < 1), learning with noisy labels, annotator disagreement