Post

SAM은 왜 흩어진 식생을 못 자를까: 물체(things)와 질감(stuff), 그리고 자동 라벨링

SAM은 왜 흩어진 식생을 못 자를까: 물체(things)와 질감(stuff), 그리고 자동 라벨링

SAM2 자동 마스크로 「얇고 흩어진 식생」 클래스의 라벨 초안을 만들어 보려 했다. 해상도·창 크기·점 개수를 바꿔도 창 하나가 거의 통째로 조각 하나(96~100%)로 나왔다. 조각 단위로 어떤 규칙을 걸어도 대상을 하나도 못 골랐다(IoU 0.00). 밝기 문턱 하나짜리 픽셀 규칙이 훨씬 나았다. SAM은 「물체」를 자르는 모델이고, 이 클래스는 물체가 아니라 「질감」이었다.

질문: SAM 자동 마스크로 라벨 초안을 만들 수 있나

SAM(Segment Anything)은 점이나 상자를 찍으면 그 자리의 마스크를 내는 분할 모델이다. 프롬프트 없이 영상 전체를 조각내는 자동 마스크 생성(AMG) 모드도 있다. 그래서 이런 흐름을 생각했다.

  1. SAM 자동 마스크로 영상을 조각낸다.
  2. 조각마다 간단한 규칙(평균 밝기, 높이)이나 소수 라벨로 클래스를 붙인다.
  3. 그 결과를 사람이 고칠 라벨 초안으로 쓴다.

대상은 항공(드론) 정사 영상의 얇고 흩어진 식생 클래스(A)다. 작은 포기가 맨땅 위에 흩어져 있고, 포기 사이로 바탕이 보인다.

개념 1: 물체(things)와 질감(stuff)

분할 연구에서는 클래스를 두 종류로 나눈다.

 things(물체)stuff(질감·재질)
예사람, 차, 나무 한 그루풀밭, 모래, 하늘, 도로
셀 수 있나셀 수 있다셀 수 없다
경계닫힌 윤곽, 일정한 모양모양이 정해져 있지 않음
정의「무엇이 있나」「무엇으로 덮였나」

COCO-Stuff(Caesar et al., 2018)가 이 둘을 함께 라벨했고, 파놉틱 분할(Kirillov et al., 2019)은 things는 개체별로, stuff는 영역으로 나눈다.

흩어진 식생 A는 전형적인 stuff다. 게다가 두 stuff(식생과 맨땅)가 수 cm 단위로 촘촘히 섞인 꼴이다. 라벨이 묻는 것도 「이 포기는 어디까지인가」보다 「이 칸의 몇 %가 A인가」에 가깝다.

개념 2: SAM 자동 마스크는 어떻게 조각을 고르나

flowchart LR
  G["격자 점<br/>(예: 32x32)"] --> M["점마다 후보 마스크 3개<br/>(전체 · 부분 · 세부)"]
  M --> Q["예측 IoU 낮은 것 버림"]
  Q --> S["안정성 점수 낮은 것 버림"]
  S --> N["겹치는 마스크 정리<br/>(NMS)"]
  N --> R["작은 조각·구멍 정리"]
  R --> O["최종 마스크 목록"]
  • 후보 3개: 점 하나는 모호하다. 셔츠 위의 점은 「단추」, 「셔츠」, 「사람」 모두일 수 있다. 그래서 SAM은 크기가 다른 후보 3개를 낸다.
  • 예측 IoU: 모델이 스스로 「이 마스크가 얼마나 좋은지」를 점수로 낸다.
  • 안정성 점수(stability score): 마스크 로짓을 자르는 기준을 \(\pm\delta\)만큼 흔들어도 마스크가 그대로인지 본다.
\[\text{stability} = \mathrm{IoU}\left(\{\,\ell > \tau + \delta\,\},\ \{\,\ell > \tau - \delta\,\}\right)\]

경계가 또렷하면 기준을 흔들어도 마스크가 거의 같아서 점수가 높다. 경계가 흐리고 대비가 약하면 조금만 흔들어도 크게 바뀌어서 점수가 낮다. 기본 설정은 0.95 같은 높은 값 아래를 버린다.

  • NMS: 여러 점에서 나온 거의 같은 마스크를 하나만 남긴다.

실험

항목내용
평가 구역사람이 픽셀 단위로 칠한 구역 2곳(각 약 30m 사방), A 면적 비율 약 16~20%
모델SAM2.1 base_plus, SAM2AutomaticMaskGenerator
설정 ①픽셀당 약 2cm 영상, 1024 창(약 20m), 점 32×32
설정 ②픽셀당 약 1cm 영상, 1024 창(약 10m), 점 64×64, 최소 면적 작게
설정 ③5m·2.5m 창을 1024로 키움, 점 48×48
조각 규칙(a) 조각 평균 밝기가 구역 중앙값 −0.5σ보다 어두우면 A (면적 조건 추가판 포함) (b) 높이(표면 − 지면) 문턱 (c) 조각 특징(색 평균·표준편차·높이·면적) k-means 후 라벨 다수결(반지도)
비교 기준픽셀 규칙: 회색값이 블록 평균 −0.5σ보다 어두운 픽셀 = A, 작은 점 제거
지표격자 칸별 A 면적 비율 MAE(%p), 픽셀 IoU

결과

설정조각 수(구역 2곳)가장 큰 조각픽셀 규칙 칸 오차 / IoUSAM 조각 규칙 칸 오차 / IoU
① 2cm, 20m 창37 · 68창의 약 99%10.0 / 0.46 · 7.6 / 0.4520.3 / 0.00 · 17.3 / 0.00
② 1cm, 10m 창560 · 626창의 약 99%9.1 / 0.40 · 6.9 / 0.4020.3 / 0.00 · 17.3 / 0.00
③ 5m·2.5m 창 확대24 · 10796% · 99%—(한 창만 시험)
  • SAM은 뚜렷한 턱(물길 가장자리 같은 높이 단차)만 조각으로 냈다. 식생이 흩어진 바탕은 통째로 하나였다.
  • 점을 64×64까지 늘려도, 2.5m 창을 1024로 키워도 같았다. ②는 조각이 500개가 넘지만 가장 큰 조각이 여전히 창의 99%였다. 나머지는 합쳐도 창의 1% 남짓인 작은 조각이다.
  • 그래서 (a)(b)(c) 어떤 규칙도 A를 하나도 못 골랐다. SAM 쪽 칸 오차 17~20%p는 「아무것도 안 칠함」의 오차와 같은 값이다.
  • 픽셀 규칙은 그림자·젖은 바탕까지 잡아 면적을 3~6%p 더 잡았지만, 칸 오차 7~10%p로 초안으로는 쓸 만했다.

다른 실험(라벨 없이 무늬 묶기)에서도 SAM2 자동 마스크는 20m 타일당 기본 2~53개, 촘촘한 설정에서도 평균 약 110개(마스크 하나 약 4㎡)의 큰 덩어리만 냈다. 식생과 맨땅이 한 마스크에 섞여 A 재현율이 0이었다.

왜: SAM에게 질감은 「물체 하나」다

아래는 관찰과 SAM의 구조에서 끌어낸 해석이다. SAM 내부를 직접 들여다보고 확인한 것은 아니다.

1. SAM이 배운 「물체다움」

SAM은 사람이 닫힌 윤곽을 그린 대규모 마스크(SA-1B)로 학습했다. 그래서 「사람이라면 어디에 윤곽을 그을까」를 배웠다. 흩어진 식생 바탕에서 가장 또렷한 닫힌 윤곽은 포기 하나의 윤곽이 아니라 질감 영역 전체의 바깥 경계다.

2. 필터가 큰 조각을 남긴다

포기 위에 찍힌 점 하나는 세 후보를 낸다.

후보모양운명
포기 하나수 픽셀, 경계가 흐리고 대비가 약함안정성·예측 IoU가 낮아 버려짐
질감 일부경계가 어디든 될 수 있음불안정해 버려지기 쉬움
질감 영역 전체바깥 경계가 또렷함안정적이라 남음

수백 개 점이 모두 같은 큰 조각을 내고, NMS가 그것을 하나로 합친다. 결과는 「창 하나 = 조각 하나」다.

3. 해상도는 일부만 설명한다

SAM 계열은 1024 입력에 대해 마스크 로짓을 256×256으로 낸 뒤 키운다. 2cm 영상에서 마스크 한 칸은 약 8cm라서 수 cm 포기는 그 아래로 묻힌다. 하지만 ③에서 2.5m 창을 1024로 키워 마스크 한 칸이 약 1cm가 돼도 결과는 같았다. 해상도만의 문제가 아니라, 질감을 물체로 보지 않는 SAM의 성질이 더 크다.

4. 「조각 내고 분류하기」의 상한은 조각의 순도다

조각마다 클래스를 하나씩 붙이는 방식은, 아무리 규칙이 좋아도 이 값을 넘지 못한다.

\[\text{상한 정확도} = \frac{1}{N}\sum_{s} \max_k\, n_{sk}\]

\(n_{sk}\)는 조각 \(s\) 안에서 정답이 클래스 \(k\)인 픽셀 수다. 조각이 창 전체 하나면 조각 안에 A 20%·바탕 80%가 섞여 있다. 그 조각을 A로 부르면 과대, 바탕으로 부르면 A가 0이 된다. 이번 결과가 후자다. 규칙을 고르기 전에 조각 순도부터 재야 한다.

5. 높이 단서도 도움이 안 됐다

「깊이까지 쓰면 되지 않을까」도 생각했다. 하지만 이 식생의 키(5~30cm)는 사진으로 만든 표면 모델의 잡음 범위 안이었다. 키가 큰 식생이나 뚜렷한 단차에서는 높이가 잘 듣지만, 낮고 흩어진 식생에는 단서가 되지 못했다.

그럼 무엇을 쓰나

대상맞는 도구
질감형 클래스(흩어진 식생, 모래, 풀밭)픽셀·패치 단위 방법: 학습된 시맨틱 분할, 대비가 일정하면 단순 픽셀 규칙 초안, 초화소(SLIC) + 특징
물체처럼 보이는 덩어리(키 큰 식생 B의 군락, 큰 빽빽한 무리, 구조물)SAM 클릭 선택. 사람이 점을 찍고 결과를 확인
뚜렷한 높이 단차(물길 턱 등)SAM 자동 마스크나 높이 문턱

정리하면 SAM은 「물체로 보일 때만」 쓴다. 자동 라벨링 파이프라인에 SAM을 넣기 전에 다음 세 가지를 먼저 본다.

  1. 가장 큰 마스크가 창에서 차지하는 비율. 0.9를 넘으면 SAM이 이 영상을 질감으로 보고 있다.
  2. 조각 순도 상한. 정답이 조금이라도 있는 구역에서 위 식으로 잰다. 낮으면 어떤 조각 규칙도 소용없다.
  3. 단순 픽셀 규칙 기준선. 밝기·색 문턱 하나와 비교한다. 이번에는 이 기준선이 SAM보다 훨씬 나았다.

단순 픽셀 규칙도 만능은 아니다. 「대상이 바탕보다 어둡다」는 대비가 유지될 때만 통하고, 그림자·젖은 바탕을 같이 잡는다. 초안으로 쓰고 사람이 고친다는 전제다.

한계: 평가 구역 2곳, 장면 하나의 결과다. SAM2 설정은 점 개수·창 크기·최소 면적만 바꿨고, 안정성·예측 IoU 문턱을 크게 낮춘 설정은 체계적으로 훑지 않았다.

배운 점

  • SAM은 「무엇이 물체인가」를 배운 모델이다. stuff 클래스, 특히 두 재질이 촘촘히 섞인 질감에는 맞지 않는다.
  • 자동 마스크의 필터(예측 IoU·안정성·NMS)는 또렷한 큰 조각을 편애한다. 흐리고 작은 요소는 걸러진다.
  • 해상도를 올리는 것으로는 안 풀린다. 창을 키워도 질감은 질감이다.
  • 「조각 내고 분류하기」의 상한은 조각 순도다. 규칙을 다듬기 전에 순도부터 잰다.
  • 단순 기준선을 꼭 같이 돌린다. 큰 모델이 진다는 사실도 결과다.

직접 해보기

개념 확인용 예시 코드다(실제 파이프라인 아님). SAM2 부분은 주석으로 두고, 진단 함수와 픽셀 규칙은 가짜 영상으로 바로 돌아간다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
# 예시 코드: 개념 확인용
import numpy as np
from scipy import ndimage

# --- 1) SAM2 자동 마스크 (실제로 돌릴 때) ------------------------------------
# from sam2.build_sam import build_sam2
# from sam2.automatic_mask_generator import SAM2AutomaticMaskGenerator
# sam = build_sam2("configs/sam2.1/sam2.1_hiera_b+.yaml",
#                  "checkpoints/sam2.1_hiera_base_plus.pt", device="cuda")
# amg = SAM2AutomaticMaskGenerator(sam, points_per_side=48,
#                                  pred_iou_thresh=0.7, stability_score_thresh=0.9,
#                                  min_mask_region_area=50)
# masks = amg.generate(image)          # image: (H, W, 3) uint8 RGB


def mask_report(masks, shape):
    """마스크 목록 -> 개수, 가장 큰 마스크가 창에서 차지하는 비율, 덮인 비율."""
    if not masks:
        return {"n_masks": 0, "largest_frac": 0.0, "covered_frac": 0.0}
    covered = np.zeros(shape, bool)
    for m in masks:
        covered |= m["segmentation"]
    largest = max(m["area"] for m in masks)
    return {"n_masks": len(masks),
            "largest_frac": round(largest / covered.size, 3),
            "covered_frac": round(float(covered.mean()), 3)}
# largest_frac 가 0.9 를 넘으면: SAM 이 이 창을 '물체 하나'로 봤다 = 질감형 클래스 신호


def segment_oracle(seg_ids, gold):
    """조각마다 다수 클래스를 붙였을 때의 최고 정확도 = 조각 내고 분류하기의 상한."""
    seg = seg_ids.ravel()
    lab = gold.ravel().astype(int)
    table = np.zeros((seg.max() + 1, lab.max() + 1))
    np.add.at(table, (seg, lab), 1)
    return float(table.max(axis=1).sum() / seg.size)


# --- 2) 비교 기준: 단순 픽셀 규칙 초안 --------------------------------------
def dark_rule_draft(rgb, k=0.5, min_px=9):
    """'바탕보다 어두운 픽셀 = 대상 후보' 규칙 + 작은 점 제거. 대비가 이 방향일 때만 쓸 수 있다."""
    gray = rgb.astype(np.float32).mean(axis=2)
    mask = gray < gray.mean() - k * gray.std()
    lab, n = ndimage.label(mask)
    sizes = ndimage.sum(mask, lab, index=np.arange(1, n + 1))
    keep = np.concatenate([[False], sizes >= min_px])
    return keep[lab]


def cell_ratio(mask, cell=100):
    """0/1 지도 -> cell x cell 칸마다 대상 면적 비율 (남는 가장자리는 버림)."""
    H, W = mask.shape[0] // cell, mask.shape[1] // cell
    m = mask[:H * cell, :W * cell].astype(np.float32)
    return m.reshape(H, cell, W, cell).mean(axis=(1, 3))


def cell_mae(pred, gold, cell=100):
    return float(np.abs(cell_ratio(pred, cell) - cell_ratio(gold, cell)).mean()) * 100   # %p


def iou(pred, gold):
    inter, union = (pred & gold).sum(), (pred | gold).sum()
    return float(inter / union) if union else 1.0


# 가짜 영상: 밝은 바탕 위에 작은 어두운 반점이 흩뿌려진 질감 (실제보다 훨씬 쉬운 장난감)
rng = np.random.default_rng(0)
gold = ndimage.binary_dilation(rng.random((1000, 1000)) < 0.01, iterations=2)
rgb = np.where(gold[..., None], 90, 150) + rng.normal(0, 25, (1000, 1000, 3))
rgb = rgb.clip(0, 255).astype(np.uint8)

draft = dark_rule_draft(rgb)
whole = np.ones_like(gold)          # SAM 이 창 전체를 조각 하나로 냈을 때 고를 수 있는 것
empty = np.zeros_like(gold)
print(f"정답 면적 비율 {gold.mean():.2f}")
for name, m in (("픽셀 규칙", draft), ("조각 통째로 고름", whole), ("아무것도 안 고름", empty)):
    print(f"{name:10s} 칸 오차 {cell_mae(m, gold):5.1f}%p  IoU {iou(m, gold):.2f}")
print(mask_report([{"segmentation": whole, "area": int(whole.sum())}], gold.shape))
print("조각 하나일 때 순도 상한", round(segment_oracle(np.zeros(gold.shape, int), gold), 2))

더 찾아볼 키워드

  • Segment Anything(Kirillov et al. 2023), SAM 2(Ravi et al. 2024), SA-1B, automatic mask generator, stability score
  • things and stuff, COCO-Stuff(Caesar et al. 2018), panoptic segmentation(Kirillov et al. 2019), On Seeing Stuff(Adelson 2001)
  • texture segmentation, superpixels(SLIC), segment purity / oracle accuracy
  • HQ-SAM(가는 구조 보강), 클릭 기반 대화형 분할(interactive segmentation)
  • weak supervision, auto-labeling, label drafting with human-in-the-loop
This post is licensed under CC BY 4.0 by the author.