라벨 없이 비슷한 무늬 묶기: DINOv2 특징 + k-means로 「다음에 라벨할 구역」 고르기
라벨 없이 항공(드론) 정사 영상의 패치를 DINOv2 특징과 색·질감·높이로 묶었다. 사람이 칠한 픽셀 클래스와는 약하게만 맞았다(NMI 약 0.13, 다수결 정확도 70% vs 「전부 배경」 65.5%). 대신 수십 cm 규모의 「지대」는 잘 나눴고, 이 지도로 라벨 구역을 고르면 라벨 구역이 1~2개일 때 무작위보다 오차가 절반이었다. 25가지 넘는 변형을 같은 잣대로 비교했지만 일치도를 의미 있게 올린 것은 없었다. 얻은 것은 안정성이었다.
질문: 데이터 안에서 비슷한 패턴을 찾을 수 있나
픽셀 라벨링은 가장 비싼 단계다. 그래서 라벨 없이 데이터 안의 구조만으로 무엇을 얻을 수 있는지 확인했다.
- 패턴 지도: 라벨러 화면에 「비슷한 무늬끼리 같은 색」 레이어를 깐다.
- 구역 추천: 다음에 칠할 구역을 고른다.
- 조각 선택: 클릭 한 번에 비슷한 조각을 고른다.
앞선 예비 실험에서는 고정된 DINOv2 특징에 적은 라벨로 작은 분류기를 얹었다. 픽셀 mIoU는 26% → 38%로 올랐는데 격자 칸별 면적 비율 오차는 18.1 → 17.6%p로 거의 그대로였다. 이번에는 라벨을 아예 안 쓰고 구조만으로 어디까지 가는지 봤다.
개념
DINOv2 패치 특징
- DINOv2: 라벨 없이 대량의 이미지로 자기지도 학습한 비전 트랜스포머(ViT). 여기서는 가중치를 고정하고 특징만 뽑았다.
- ViT-S/14는 이미지를 14×14 픽셀 패치로 자르고 패치마다 384차원 벡터를 낸다. 518×518 타일이면 37×37 토큰이다.
- 픽셀당 약 2cm 영상에서 패치 하나는 약 28cm다. 그보다 작은 것은 한 토큰 안에 섞인다. 이 숫자가 뒤의 결과를 거의 다 설명한다.
k-means와 평가 지표
- k-means: 무리 수 \(k\)를 정하면, 점마다 가장 가까운 중심에 배정하고 중심을 다시 계산하기를 반복한다. 라벨을 쓰지 않는다.
- NMI: 군집 \(U\)와 정답 \(V\)가 정보량 기준으로 얼마나 같이 갈리는지. 0이면 무관, 1이면 완전 일치.
- ARI: 「같은 무리에 든 쌍」 기준 일치도에서 우연을 뺀 값.
- 대응 정확도: 군집마다 가장 많은 정답 클래스를 붙였을 때의 정확도. \(k\)가 클수록 저절로 오른다. 그래서 대응은 검증 블록 밖에서 정하고 검증 블록에 적용한다.
- 시드 안정성: 무작위 시작만 바꿔 다시 묶은 두 결과의 ARI. 1이면 그대로, 0.5 이하면 경계가 크게 바뀐다. 도구 화면에 깔 레이어라면 1에 가까워야 한다.
실험 설계
flowchart LR
T["정사 영상 타일"] --> D["DINOv2 패치 특징<br/>(고정)"]
D --> S["위치 줄무늬 제거"]
T --> H["색 · 질감 · 높이<br/>손 특징 14개"]
S --> F["결합 → PCA 32"]
H --> F
F --> K["k-means (k=8)"]
K --> P["패턴 지도"]
P --> L["라벨러 화면 레이어"]
P --> G["군집 덮기로<br/>라벨 구역 추천"]
| 항목 | 내용 |
|---|---|
| 영상 | 한 장면의 항공 정사 영상(픽셀당 약 2cm) + 표면 높이 |
| 정답 | 사람이 칠한 4cm 격자 라벨. 클래스는 배경(맨땅)·식생 A·물·기타 |
| 특징 | DINOv2 PCA 32차원 + 색(Lab)·질감(밝기 표준편차)·식생 지수·상대 높이 14개, 두 묶음의 전체 분산을 맞춤 |
| 공정 규칙 | \(k\)와 설정은 검증 블록 밖 NMI로만 고르고, 군집→클래스 대응도 검증 밖에서 정함. 검증 블록 라벨은 채점에만 씀 |
| 비교 | 초화소(SLIC)·HDBSCAN·Ward 계층·STEGO·SAM2·앙상블·직접 설계한 융합 모델 등 |
| 환경 | 노트북급 GPU(8GB) 한 장, 전체 약 1시간 |
함정 1: ViT 특징에 숨은 위치 줄무늬
첫 실행에서 DINOv2 단독 결과가 이상했다. NMI가 0.06에 그쳤고, 시드만 바꿔도 결과가 크게 달랐다(ARI 0.56~0.76).
특징을 PCA로 3차원으로 줄여 RGB로 그려 보니 원인이 보였다. 영상 내용과 상관없이 타일 안 같은 위치마다 세로 줄무늬와 타일 경계가 있었다. 위치 정보가 특징에 섞여 나온 것이다.
세 가지 처리를 함께 넣었다.
- 위치별 평균 빼기: 여러 타일에서 같은 위치 토큰의 평균을 구해 뺀다.
- 시작점 밀기: 타일 격자를 4가지로 밀어 추출하고 평균한다.
- 좌우 뒤집기 평균: 뒤집은 타일의 특징을 다시 뒤집어 평균한다(test-time augmentation).
결과는 NMI 0.06 → 0.10, 시드 ARI 0.91~0.99였다.
레지스터 토큰을 더한 판(dinov2_vits14_reg)도 써 봤다. 「위치별 평균 크기 / 특징 크기」 비율이 0.594 → 0.558로 거의 줄지 않았다. 레지스터는 원래 배경에 생기는 고노름 이상 토큰을 겨냥한 장치라, 이 위치 잔상과는 다른 문제로 보인다(추정). 줄무늬 제거는 레지스터판에서도 계속 필요했다.
사전학습 특징을 그대로 믿지 말고, PCA → RGB 지도부터 그린다. 내용과 상관없는 격자·줄무늬가 보이면 군집도 그것을 따라간다.
함정 2: 검증 데이터로 k를 고르면 낙관적이다
처음에는 32개 설정 중 검증 NMI가 가장 좋은 \(k=12\)를 골랐다(NMI 0.139, 칸 오차 8.52%p). 공정 규칙(검증 밖 NMI)으로 다시 고르면 \(k=8\)이고, NMI 0.134, 칸 오차 9.06%p였다. 설정 하나를 어디서 골랐느냐가 결과 숫자를 바꾼다.
결과
모두 공정 규칙 값이다. 「칸 오차」는 군집별 A 비율(검증 밖 라벨로 셈)로 근사한 격자 칸별 A 면적 비율의 MAE(%p)다.
| 방법 | NMI | 대응 정확도 | A 재현/정밀 | 칸 오차 | 시드 ARI |
|---|---|---|---|---|---|
| 패치: DINOv2(줄무늬 제거) + 색·질감·높이 | 0.134 | 70.0% | 28/71 | 9.06 | 0.74 |
| 패치: DINOv2 원본(줄무늬 그대로) | 0.121 | 70.4% | 32/71 | 11.14 | 0.98 |
| 패치: DINOv2-reg(줄무늬 제거) | 0.133 | 71.8% | 32/71 | 10.36 | 0.98 |
| SLIC 20cm 초화소 + k-means | 0.128 | 67.8% | 62/54 | 8.57 | 1.00 |
| SLIC 20cm + Ward 계층 | 0.132 | 68.7% | 31/60 | 8.37 | 0.39 |
| SLIC + HDBSCAN | 0.05 | 65.5% | 0/0 | 19.5 | 약 0.5 |
| STEGO + 색·질감·높이 | 0.125 | 67.7% | 40/57 | 9.54 | 0.61 |
| 합의 앙상블(18개 방법) | 0.135 | 69.8% | 29/68 | 8.71 | 1.00 |
| 직접 설계한 융합 + 자기학습 | 0.128 | 65.2% | 55/50 | 9.66 | 0.79 |
기준선은 「전부 배경」 정확도 65.5%다. 지도학습 U-Net은 같은 칸 정의로 칸 오차 약 10.4%p였다. 다만 군집 쪽 칸 오차는 군집별 A 비율을 같은 장면의 라벨로 정한 값이라 새 장면에는 그대로 못 쓴다.
군집이 잡은 것은 「무엇이 있나」보다 「어떤 지대인가」였다.
- 빽빽한 A 지대(A 72%), A와 틈이 섞인 지대(A 55%)
- 깊은 물길·얕은 물길(상대 높이 −36cm·−12cm)
- 인공 구조물, 맨땅 두 종류
- 정사 영상 가장자리 군집: 가장자리 5m 안 칸의 27%가 이 군집이었다(안쪽은 4%). 더 정밀하게 만든 정사 영상에서도 그대로 남았다. 흐림이 아니라 사진 가장자리 노출 차이(비네팅) 같은 촬영 요인으로 보인다. 비지도 군집은 촬영 결함도 「패턴」으로 찾는다.
왜 픽셀 클래스와는 약하게만 맞나: 단위의 차이
특징은 20~60cm 창을 보고, 토큰은 14~28cm다. 라벨은 4cm 격자에서 포기 하나, 틈 하나를 칠한다. 그래서 군집은 포기와 틈을 가르지 못하고 지대를 가른다.
토큰을 촘촘하게 만들면 나아질까? 픽셀당 1cm 영상을 넣어 14cm 토큰을 만들고, 패치를 겹치게 잘라(stride trick) 토큰 간격을 7cm, 4cm까지 줄여 봤다. 모두 같은 부분 구역에서 다시 맞추고 채점했다.
| 특징 해상도 | NMI |
|---|---|
| 14cm 토큰 | 0.119 |
| 4cm 토큰(겹친 패치) | 0.104 (나빠짐) |
| 14cm 토큰 + JBU로 4cm까지 펴기 | 0.131 |
4cm 토큰은 포기 단위 잡음을 따라가서 오히려 나빠졌다. 가장 나은 것은 14cm 특징을 RGB 경계를 따라 펴는 결합 양방향 업샘플(JBU)이었다. 특징의 크기는 구분하려는 차이의 크기에 맞아야 한다. 클래스 차이가 수십 cm 지대에 있으면 4cm 특징은 잡음이다.
영상 품질을 올려도(더 정밀한 정사 영상) NMI는 오르지 않았다. 병목은 영상이 아니라 단위와 라벨이었다. 라벨 쪽에도 이유가 있다. 사람은 성긴 지대 경계를 곧은 덩어리로 칠했고, 군집은 실제 질감 경계를 따라갔다.
무엇이 안 됐나
| 방법 | 무엇이 문제였나 |
|---|---|
| HDBSCAN | 밀도 높은 곳만 군집으로 잡는데, 이 데이터는 연속 분포라 「군집 2개 + 잡음 32%」나 「전부 잡음」 |
| Ward 계층 | 「식생 지대 vs 맨땅 → 물 → 빽빽한 A」 순으로 갈려 해석은 좋지만, 표본만 바꿔도 시드 ARI 0.35~0.39 |
| STEGO | 공개 설정값(COCO-Stuff용)으로는 코드 붕괴(NMI 0.002). 비슷한 무늬가 넓어 거의 모든 패치 쌍을 끌어당김. 값을 데이터에 맞추니 동작했지만 학습 구역 NMI 0.22 vs 검증 0.09 |
| 융합 + 자기학습 | 학습 구역 NMI 0.285(최고) vs 검증 0.128. STEGO와 같은 과적합 |
| SAM2 자동 마스크 | 식생과 맨땅을 한 덩어리로 묶어 A 재현율 0. 다음 글(SAM 자동 마스크와 질감형 클래스)에서 다룸 |
쓸모: 라벨 구역 추천
군집을 자동 라벨로는 못 쓴다. 대신 어디를 라벨할지 고르는 데 쓸 수 있다. 능동 학습(active learning)의 다양성 표본 추출(diversity sampling)을 가장 단순하게 한 꼴이다.
탐욕적 군집 덮기: 한 변 30m 후보 구역 34곳마다 군집 분포를 구한다. 매번 「아직 덜 덮인 군집을 가장 많이 채우는 구역」을 고른다. 최적은 아니지만 최적의 약 \(\ln n\)배 안에 든다고 알려져 있고 빠르다.
- 5곳으로 군집 12개를 모두 각 군집 면적의 10% 이상 덮었다.
- 무작위로 5곳을 고르면 전부 덮을 확률이 0.7%였다. 64% 확률이 되려면 9곳이 필요했다.
적은 라벨 탐침: 고정 특징 위에 작은 MLP 머리를 얹고, 라벨 구역 \(N\)개로 학습했다. 무작위 선택은 5번 평균이다.
| 라벨 구역 수 N | 1 | 2 | 4 | 8 |
|---|---|---|---|---|
| 무작위 — 칸 오차 %p | 20.3 ± 6.3 | 14.6 ± 2.3 | 10.7 ± 0.6 | 9.9 ± 0.5 |
| 군집 덮기 — 칸 오차 %p | 10.7 | 12.0 | 10.2 | 10.7 |
- 라벨 구역이 1~2개뿐일 때 군집 덮기가 확실히 낫다. 오차가 절반이고 흔들림이 없다.
- 4개 이상이면 무작위가 따라잡는다. 이때부터는 「어디」보다 「얼마나」가 중요하다.
- 칸 단위 면적 오차는 U-Net 수준까지 왔지만, 4cm 픽셀 정확도(73% vs 79%)와 A의 IoU(0.44 vs 0.57)는 U-Net이 훨씬 낫다. 탐침은 지대 수준, U-Net은 포기 수준이다.
실무 정리
| 쓰임 | 권장 |
|---|---|
| 패턴 지도 레이어 | SLIC 20cm 초화소 안에서 특징 평균 → k-means. 시드 ARI 1.00, 조각 경계가 물체를 따라감. 합의 앙상블은 성능이 같고 비용이 18배 |
| 구역 추천 | 같은 지도 + 탐욕적 군집 덮기. 새 장면의 첫 1~2구역에서 가장 효과가 큼 |
| 조각 선택 도구 | SLIC 초화소. 질감형 영상에서 SAM 자동 마스크는 덩어리가 너무 큼 |
| 쓰지 말 것 | HDBSCAN(연속 분포), 공개 설정 그대로의 STEGO, 구분 대상보다 잘게 쪼갠 토큰, 색 하나로 미리 나누는 규칙(같은 클래스도 계절·장소마다 색이 다름) |
한계: 장면 하나, 촬영 한 번, 클래스 4개의 결과다. 방법 사이 NMI 차이(0.12~0.135)는 대부분 시드·표본 흔들림 수준이라 순위는 확정할 수 없다. 안정성과 칸 오차 차이가 더 믿을 만하다.
배운 점
- 비지도 군집은 「무엇」이 아니라 「어떤 지대」를 본다. 특징 단위가 클래스 단위보다 크면 일치도는 낮다. 그렇다고 토큰을 잘게 쪼개면 잡음만 는다. 특징 크기는 구분하려는 차이의 크기에 맞춘다.
- ViT 특징은 지도로 먼저 본다. 위치 잔상은 레지스터만으로 안 사라질 수 있다.
- 도구에는 0.01 NMI보다 시드 안정성이 중요하다. 화면이 매번 바뀌면 쓸 수 없다.
- 학습 구역 점수가 오르는데 검증이 내려가면 과적합이다. 비지도 방법도 그곳의 질감을 외운다.
- 군집은 라벨을 대신하지 않고, 라벨을 어디에 쓸지 정한다. 효과는 라벨이 아주 적을 때 가장 크다.
직접 해보기
개념 확인용 예시 코드다(실제 파이프라인 아님). DINOv2 부분은 주석으로 두고, 나머지는 가짜 데이터로 바로 돌아간다.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
# 예시 코드: 개념 확인용
import numpy as np
import torch
from sklearn.cluster import KMeans
from sklearn.decomposition import PCA
from sklearn.metrics import adjusted_rand_score, normalized_mutual_info_score
# --- 1) DINOv2 패치 특징 (실제로 돌릴 때) ---------------------------------
# model = torch.hub.load("facebookresearch/dinov2", "dinov2_vits14_reg").eval()
# MEAN = torch.tensor([0.485, 0.456, 0.406]).view(1, 3, 1, 1)
# STD = torch.tensor([0.229, 0.224, 0.225]).view(1, 3, 1, 1)
#
# @torch.no_grad()
# def patch_features(tiles): # tiles: (B, 3, 518, 518), 0~1
# out = model.forward_features((tiles - MEAN) / STD)
# f = out["x_norm_patchtokens"] # (B, 37*37, 384)
# return f.reshape(len(tiles), 37, 37, -1)
# 좌우 뒤집기 평균: patch_features(tiles.flip(dims=[3])).flip(dims=[2]) 와 평균
def position_bias_ratio(feats):
"""feats: (B, H, W, D). 타일 안 위치별 평균의 크기 / 특징 크기. 크면 위치 잔상이 있다."""
pos_mean = feats.mean(dim=0)
return (pos_mean.norm(dim=-1).mean() / feats.norm(dim=-1).mean()).item()
def remove_position_bias(feats):
"""같은 위치끼리의 평균 = 내용과 무관한 위치 잔상 -> 뺀다.
타일이 충분히 많고 내용이 다양해야 평균이 '위치'만 담는다."""
return feats - feats.mean(dim=0, keepdim=True)
# 가짜 특징: 내용 신호 + 위치마다 고정된 세로 줄무늬
B, H, W, D = 64, 37, 37, 16
stripes = torch.sin(torch.arange(W) / 2.0).view(1, 1, W, 1) * torch.randn(1, 1, 1, D) * 3
feats = torch.randn(B, H, W, D) + stripes
print(f"위치 치우침 비율 {position_bias_ratio(feats):.2f}") # 크게 나옴 -> 제거 필요
clean = remove_position_bias(feats)
# --- 2) k-means + 시드 안정성 + 정답 일치도 ------------------------------------
def cluster(X, k=8, seed=0):
Z = PCA(32, random_state=0).fit_transform(X)
return KMeans(k, n_init=1, random_state=seed).fit_predict(Z)
rng = np.random.default_rng(0)
y_true = rng.integers(0, 4, 5000) # 가짜 정답 4클래스
X = rng.normal(size=(5000, 64)) + np.eye(4, 64)[y_true] * 2.0 # 클래스 신호가 약하게 섞인 특징
a, b = cluster(X, seed=0), cluster(X, seed=1)
print(f"시드 ARI {adjusted_rand_score(a, b):.2f}, 정답 NMI {normalized_mutual_info_score(y_true, a):.2f}")
# k 가 실제 구조(4)보다 크면 시드 ARI 가 낮게 나온다
# --- 3) 군집 덮기로 라벨 구역 고르기 (탐욕적 집합 덮기) --------------------------
def greedy_cover(region_hist, target=0.10, max_regions=10):
"""region_hist: (R, K) 후보 구역마다 군집별 픽셀 수.
군집마다 '전체 면적의 target' 만큼 덮일 때까지, 덜 덮인 군집을 가장 많이 채우는 구역부터 고른다.
채움은 군집별 목표 대비 비율로 재서, 작은 군집도 큰 군집과 같은 무게를 갖게 한다."""
need = target * region_hist.sum(axis=0)
got = np.zeros(region_hist.shape[1])
chosen = []
while (got < need).any() and len(chosen) < max_regions:
filled = np.minimum(got + region_hist, need) / need # (R, K)
gain = filled.sum(axis=1) - (np.minimum(got, need) / need).sum()
gain[chosen] = -1
r = int(np.argmax(gain))
chosen.append(r)
got += region_hist[r]
return chosen
hist = rng.poisson(lam=rng.gamma(0.5, 200, size=(34, 12))) # 후보 34곳 x 군집 12개 (가짜)
picked = greedy_cover(hist)
covered = int((hist[picked].sum(0) >= 0.1 * hist.sum(0)).sum())
print("고른 구역", picked, "덮인 군집", covered, "/ 12")
더 찾아볼 키워드
- DINOv2(Oquab et al. 2023), Vision Transformers Need Registers(Darcet et al. 2024), ViT positional artifacts
- Deep ViT Features as Dense Visual Descriptors(Amir et al. 2021, stride trick), joint bilateral upsampling(JBU), FeatUp
- STEGO(Hamilton et al. 2022), unsupervised semantic segmentation, SLIC superpixels
- NMI, ARI, Hungarian matching, clustering stability
- HDBSCAN, Ward linkage
- active learning, diversity sampling, core-set selection(Sener & Savarese 2018), greedy set cover
- linear probing, few-shot segmentation