Post

교차검증 F1 0.77인데 지도는 정답의 7배를 칠했다: 한 클래스만 라벨링할 때 생기는 선택 편향과 공간 블록 교차검증

교차검증 F1 0.77인데 지도는 정답의 7배를 칠했다: 한 클래스만 라벨링할 때 생기는 선택 편향과 공간 블록 교차검증

항공(드론) 정사 영상에서 희귀한 대상 클래스 하나만 찾는 분류기를 학습했다. 교차검증 F1은 0.77로 괜찮았다. 그런데 전체 지도에 적용하자 정답 라벨 넓이의 7배 넘게 칠했다. 틀린 곳은 전부 학습 구역 밖이었다. 원인은 선택 편향이다. 음성(「대상 아님」) 예시를 대상이 많은 구역 안에서만 뽑았고, 교차검증도 그 안에서만 돌았다. 라벨 규칙의 반대에서 음성을 얻고, 구역 밖까지 넣은 공간 블록 교차검증으로 바꾸자 F1은 조금 내려갔지만 지도는 맞아졌다.

상황

  • 라벨: 「지표 X가 문턱 이상인 칸 = 대상」이라는 규칙으로 칠했다. 대상이 많은 구역 13곳을 골라 그 안만 칠했다.
  • 지표 X는 별도 센서로만 계산된다. 그 센서는 전체 지역의 일부만 찍었다.
  • 목표: X 없이 RGB(+높이) 특징만으로 대상을 찾는 모델. 그래야 센서가 없는 곳까지 초안을 낼 수 있다.
  • 모델: 칸마다 RGB 특징 8개(밝기·초록 지수·질감·주변 평균), 높이 특징 11개(라이다: 지면 위 높이·거칠기·상대 표고·점 밀도·강도·기울기 등). 분류기는 HistGradientBoostingClassifier.

첫 시도: 지표는 좋은데 지도가 틀렸다

  • 정답: 13구역 안에서 대상 칸 = 1, 나머지 칸 = 0.
  • 검증: 구역 하나씩 빼고 학습(leave-one-region-out). F1 = RGB 0.757, RGB+높이 0.770.
  • 전체 지도에 적용: 칠한 넓이가 정답 라벨 넓이의 약 7.7배.

지도에서 노랗게 칠해진 곳은 이랬다.

  • 학습 구역 밖의 둑 그늘과 젖은 흙
  • 높이 자료가 없는 가장자리 띠(특징이 비어 있음)
  • 먼 쪽 물빛(푸른 회색)

학습 구역 안에서는 거의 맞았다. 틀린 곳은 모두 밖이었다.

개념: 선택 편향

선택 편향(selection bias)은 학습·평가 표본을 고른 방식 때문에 표본의 분포가 실제로 모델을 쓸 곳(모집단)과 달라지는 것이다.

\[R_{\text{pop}}(f) = \mathbb{E}_{x \sim P}\big[\ell(f(x), y)\big] \;\neq\; \mathbb{E}_{x \sim P(\cdot \mid S=1)}\big[\ell(f(x), y)\big] = R_{\text{CV}}(f)\]

\(S=1\)은 「라벨러가 고른 구역에 들어감」이다. 교차검증은 오른쪽을 추정한다. 우리가 알고 싶은 것은 왼쪽이다.

어디들어 있는 칸모델이 본 적 있나
고른 구역 안 (S=1)대상, 대상 사이 맨땅, 물골있음 (학습·평가 둘 다 여기)
구역 밖맨땅, 둑 그늘, 가장자리 띠, 물빛굵은 글씨는 한 번도 없음

왜 하필 「대상」 쪽으로 틀렸을까?

  • 분류기는 학습 분포 안에서만 경계를 긋는다.
  • 학습에 없던 종류의 칸(둑 그늘 등)에서는 경계가 어디로 가든 학습 손실이 0이다. 그래서 아무 쪽으로나 기울 수 있다.
  • 둑 그늘은 밝기가 대상과 비슷했다. 고른 구역 안의 음성(맨땅)과는 밝기로 갈렸으니, 모델은 「밝기만 보면 된다」고 배웠다.

교차검증이 이걸 못 잡은 이유도 같다.

  • 「구역 하나 빼기」는 대상이 많은 구역끼리 바꿔 끼운 것뿐이다.
  • 그래서 「고른 구역 → 다른 고른 구역」 일반화만 잰다. 「고른 구역 → 구역 밖」은 재지 않는다.

라벨러가 「대상 있는 곳부터」 칠하는 것은 자연스럽다. 그래서 이 함정은 한 클래스만 라벨링할 때 거의 늘 생긴다. 양성과 「라벨 안 됨」만 있는 PU learning(Positive-Unlabeled)과 같은 꼴이다.

진단 순서

  1. 숫자와 그림이 다르면 그림을 믿는다. F1 0.77인데 넓이가 7배다. 「평가가 보지 못한 곳」이 있다는 뜻이다.
  2. 평가 표본이 어디서 왔는지 본다. 13구역 안. 그 구역은 「대상이 있어서」 고른 곳이다.
  3. 틀린 위치의 패턴을 본다. 학습 구역 밖에서만 틀렸다. 그곳에 있는 종류의 「아님」을 모델은 본 적이 없다.

고친 방법 1: 선택 규칙의 반대에서 음성 얻기

라벨 규칙이 「X ≥ 문턱 = 대상」이었다. 그러면 13구역 밖이라도 센서가 찍은 곳에서 X가 문턱 미만인 칸은 확실한 음성이다.

  • X가 문턱 이상인 칸(구역 밖)은 「모름」으로 뺐다. 다른 물질일 수도, 라벨 안 한 대상일 수도 있다.
  • 「검토 필요」「판독 불가」로 표시된 칸도 음성에 넣지 않았다.

단, 이 방법은 규칙이 정의일 때만 쓸 수 있다.

규칙의 성격X < 문턱인 칸음성으로 써도 되나
정의(필요충분): 대상이면 반드시 X ≥ 문턱대상일 수 없음된다
충분조건뿐: X ≥ 문턱이면 대상이지만, X가 낮은 대상도 있음대상일 수도 있음안 된다

이번에는 라벨을 그 규칙으로 정의했기 때문에 쓸 수 있었다.

고친 방법 2: 구역 밖까지 넣은 공간 블록 교차검증

  • 5겹 교차검증. 묶음(group) = 고른 구역 하나씩 + 구역 밖은 20 m 블록.
  • 같은 묶음은 같은 겹에만 들어간다. 공간적으로 붙은 칸이 학습·검증에 나뉘어 새는 것을 막는다.
  • 지표를 하나 더 셌다. 구역 밖 확실한 음성 중 잘못 칠한 비율.
  • 문턱(확률 몇 이상을 대상으로 볼지)도 교차검증 확률에서 골랐다.

결과

판교차검증 F113구역 안 F1구역 밖 음성 오탐전체 칠함 ÷ 라벨 넓이
v1 RGB+높이(0.770, 구역 빼기)—안 셈7.7배
v2 RGB+높이0.7400.7600.7%3.1배
v2 RGB만0.7200.7450.8%5.5배
  • v2의 F1이 v1보다 조금 낮다. 평가가 어려워졌기 때문이다(구역 밖 칸까지 센다). 지도는 훨씬 맞다.
  • 센서가 찍은 범위 안만 보면, 칠한 넓이 ÷ 라벨 넓이가 3.6배 → 1.0배 안팎으로 내려왔다.
  • v2에 남은 넓이의 3분의 2는 센서가 없는 곳에 있다. 촬영 시각·물기·빛이 달라 분포 자체가 다르다(도메인 차이). 그곳에는 X가 없어서 음성 예시도 만들 수 없다.
  • RGB만으로는 센서 없는 곳의 물빛을 대상으로 본다. 높이 특징이 있어야 덜 틀린다.

같이 잡은 함정

코드를 다른 눈(리뷰)으로 한 번 더 보게 했더니 다섯 가지가 더 나왔다. 고친 v3는 교차검증 F1 0.741, 구역 밖 오탐 0.7%, 전체 2.7배였다.

  • 평가와 적용의 후처리가 달랐다. 평가는 화소 확률인데 지도에만 3×3 평균을 씌웠다. 그러면 교차검증에서 고른 문턱의 의미가 바뀐다.
  • 특징이 없는 곳에도 그 특징을 쓰는 모델로 예측했다. 높이 자료가 없는 띠에 RGB+높이 모델을 돌리면 근거 없는 출력이 나온다. 그곳은 예측하지 않거나 RGB 모델을 쓴다.
  • 「모름」 라벨이 음성으로 들어갔다. 위에서 말한 「검토 필요」「판독 불가」.
  • 격자 경계가 반 칸 어긋났다. 홀수 좌표 구역의 가장자리 칸, 해상도를 반으로 줄일 때 홀수 높이의 끝줄.
  • 음수일 수 있는 양에 −1을 「자료 없음」 표시로 썼다. 지면보다 낮은 칸(물골 바닥)이 「자료 없음」으로 읽혔다. 빈 값은 NaN이나 별도 마스크로 표시한다.

남은 것

  • 센서가 없는 곳의 도메인 차이는 그대로다. 가장 싼 해결은 그곳의 블록 두세 개를 사람이 조금 칠해 예시로 더하는 것이다(능동 학습, active learning). 이 크기 모델은 다시 학습하는 데 몇 분이면 된다.
  • 검증되지 않은 구역의 예측은 정답에 섞지 않는다. 사람이 확인할 초안으로만 쓴다.

배운 점

  • 좋은 교차검증 점수 ≠ 좋은 지도. 공간 자료는 반드시 전체에 적용해 눈으로 본다. 「칠한 넓이 ÷ 라벨 넓이」는 아주 싼 경보다.
  • 평가 표본이 어디서 왔는지가 점수의 뜻을 정한다. 고른 구역 안의 교차검증은 고른 구역끼리의 일반화만 잰다.
  • 라벨을 규칙으로 만들었다면, 규칙의 반대에서 확실한 음성을 공짜로 얻을 수 있다. 단, 규칙이 정의일 때만.
  • 점수가 내려가도 평가가 정직해졌다면 좋은 변화다.

아래는 같은 현상을 재현하는 예시 코드다. 음성은 세 종류다. 맨땅은 어디에나 있고, 그늘은 구역 밖에만, 물빛은 센서 없는 곳에만 있다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
# 예시 코드: 고른 구역 안에서만 음성을 뽑으면 생기는 일
import numpy as np
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.metrics import f1_score
from sklearn.model_selection import GroupKFold, cross_val_predict

rng = np.random.default_rng(0)
N = 120  # 120 x 120 칸 지도
yy, xx = np.mgrid[:N, :N]

# 라벨러가 고른 구역 8곳(12 x 12 칸): 대상이 많은 곳
zone_id = np.full((N, N), -1)
corners = [(10, 10), (10, 50), (40, 30), (40, 70), (70, 10), (70, 50), (95, 30), (95, 75)]
for z, (r, c) in enumerate(corners):
    zone_id[r:r + 12, c:c + 12] = z
in_zone = zone_id >= 0
has_sensor = xx < 84  # 선택 규칙의 지표 X 는 왼쪽 70 %에만 있다

# 정답: 구역 안 30 %, 구역 밖 1 %
y = np.where(in_zone, rng.random((N, N)) < 0.30, rng.random((N, N)) < 0.01)

# 특징 2개(밝기, 질감). 음성: 맨땅 (0, 0) / 그늘 (2, 2.5) / 물빛 (2, -2.5)
shade = ~in_zone & has_sensor & (rng.random((N, N)) < 0.5)
water = ~in_zone & ~has_sensor & (rng.random((N, N)) < 0.5)
mean = np.zeros((N, N, 2))
mean[y] = (2.0, 0.0)
mean[~y & shade] = (2.0, 2.5)
mean[~y & water] = (2.0, -2.5)
X = (mean + rng.normal(0, 0.6, (N, N, 2))).reshape(-1, 2)

y, in_zone, zone_id, has_sensor = y.ravel(), in_zone.ravel(), zone_id.ravel(), has_sensor.ravel()
block = (yy // 20 * 10 + xx // 20).ravel() + 100  # 구역 밖 20 x 20 칸 블록 번호
outside_neg = ~in_zone & has_sensor & ~y  # 규칙 = 정의라서, X 가 문턱 미만인 칸 = 확실한 음성


def report(name, idx, groups):
    model = HistGradientBoostingClassifier(random_state=0)
    oof = cross_val_predict(model, X[idx], y[idx], groups=groups,
                            cv=GroupKFold(n_splits=5), method="predict_proba")[:, 1] >= 0.5
    pred = model.fit(X[idx], y[idx]).predict(X).astype(bool)
    scored = pred.copy()
    scored[idx] = oof  # 학습에 쓴 칸은 교차검증 예측으로 센다
    print(f"{name}: CV F1={f1_score(y[idx], oof):.2f}  "
          f"outside FP={scored[outside_neg].mean():.1%}  "
          f"sensor area x{pred[has_sensor].sum() / y[has_sensor].sum():.1f}  "
          f"no-sensor area x{pred[~has_sensor].sum() / max(y[~has_sensor].sum(), 1):.1f}")


v1 = np.flatnonzero(in_zone)
report("v1 zones only ", v1, zone_id[v1])

v2 = np.concatenate([v1, np.flatnonzero(outside_neg)])
report("v2 + rule negs", v2, np.where(in_zone[v2], zone_id[v2], block[v2]))

내 환경(scikit-learn 1.9)에서는 이렇게 나왔다.

1
2
v1 zones only : CV F1=0.91  outside FP=44.8%  sensor area x10.3  no-sensor area x51.4
v2 + rule negs: CV F1=0.76  outside FP=0.7%  sensor area x0.8  no-sensor area x41.4

v1은 교차검증 F1이 더 높지만 구역 밖 음성의 절반 가까이를 대상으로 칠한다. v2는 점수가 내려갔지만 센서 범위 안 지도는 맞다. 센서 없는 곳(물빛)은 v2도 여전히 틀린다. 음성 예시를 만들 수 없는 곳의 도메인 차이는 이 방법으로 고쳐지지 않는다.

더 찾아볼 키워드: selection bias, sample selection bias (Heckman), covariate shift, PU learning, negative sampling, spatial block cross-validation, GroupKFold, blockCV, open-set recognition, active learning

This post is licensed under CC BY 4.0 by the author.