Post

YOLO vs Transformer (RT-DETR) 완전 정리

YOLO vs Transformer (RT-DETR) 완전 정리

— End-to-End, Anchor-free, Hungarian Matching까지

AI 객체 탐지를 공부하다 보면 꼭 나오는 개념들이 있다.

  • YOLO
  • DETR / RT-DETR
  • Anchor / Anchor-free
  • NMS
  • End-to-End
  • Hungarian Matching

처음 보면 전부 따로 노는 개념 같지만, 사실 이건 전부 하나로 연결된다.

👉 핵심 질문 하나로 정리된다:

“모델이 물체를 어떻게 예측하느냐?”


1. End-to-End란 무엇인가?

✔ 정의

👉 입력부터 최종 결과까지를 하나의 모델이 직접 학습하는 구조


✔ 비교로 이해하기

❌ 전통적인 방식 (Non End-to-End)

1
2
3
4
이미지
→ 모델: 후보 박스 수천 개 생성
→ NMS: 중복 제거
→ 최종 결과

문제:

  • 모델이 완성된 결과를 만들지 않음
  • 마지막은 사람이 만든 규칙(NMS)이 처리

👉 즉, 모델 + 후처리 = 결과


✅ End-to-End 방식

1
2
3
이미지
→ 모델이 바로 최종 박스 예측
→ 끝

👉 후처리 없음 👉 모델이 처음부터 “정답 형태”를 학습


✔ 왜 중요하냐?

  • 구조 단순
  • 배포 쉬움
  • 최적화 일관성 높음

하지만:

  • 학습 난이도 ↑
  • 데이터 요구 ↑

✔ 대표 모델

  • 전통 YOLO → End-to-End 아님
  • DETR → End-to-End
  • RT-DETR → End-to-End

2. Anchor란 무엇인가?

✔ 정의

👉 “이 위치에 물체가 있을 것 같다”는 기준 박스


✔ 동작 방식

이미지를 grid로 나눈 뒤:

1
2
3
4
각 위치마다
→ 작은 박스
→ 중간 박스
→ 큰 박스

👉 이걸 미리 깔아둔다 → Anchor


✔ Anchor-based 방식

1
2
3
Anchor 기준으로
→ 위치 조금 수정
→ 물체 예측

👉 즉:

“기존 박스를 보정하는 방식”


✔ 문제점

  • anchor 설계 필요 (비율, 크기)
  • 데이터마다 튜닝 필요
  • 구조 복잡

3. Anchor-free란?

✔ 정의

👉 anchor 없이 바로 물체 위치를 예측하는 방식


✔ 차이

구분Anchor-basedAnchor-free
시작미리 박스픽셀/포인트
방식수정직접 생성
복잡도높음낮음

✔ 예시

  • YOLOv5 → anchor-based
  • YOLOv8 → anchor-free
  • RT-DETR → anchor-free + query

4. YOLO vs RT-DETR 핵심 차이


✔ YOLO (전통적인 방식)

1
2
3
4
이미지
→ CNN
→ 후보 박스 많이 생성
→ NMS로 정리

👉 특징:

  • 빠름
  • 안정적
  • 실무에서 많이 사용

✔ RT-DETR

1
2
3
4
이미지
→ CNN
→ Transformer (query)
→ 바로 결과

👉 핵심:

  • query = 물체 하나 담당

✔ 직관적 비교

YOLO

“여기 있을까? 저기 있을까?”

→ 수천 개 찍고 나중에 정리


RT-DETR

“이 이미지에 물체 100개까지 있다고 가정하고 각각 하나씩 내가 책임지고 찾는다”


👉 그래서 NMS 필요 없음


5. NMS (Non-Maximum Suppression)

✔ 역할

👉 겹치는 박스 제거


✔ 동작

  1. 점수 높은 박스 선택
  2. 겹치는 박스 제거
  3. 반복

✔ 문제점

  • 속도 느림 (순차 처리)
  • threshold 튜닝 필요
  • 가까운 객체 같이 삭제될 수 있음
  • 배포 복잡

6. Hungarian Matching (핵심🔥)

이게 DETR 이해의 핵심이다.

✔ 개념

👉 Hungarian Matching = 예측과 정답을 가장 비용이 적게 들게 매칭하는 알고리즘

✔ 문제 상황

모델 출력:

1
예측 박스 100개

정답:

1
실제 물체 3개

👉 어떤 예측이 어떤 정답과 대응되는지 모름

✔ 해결 방법

👉 최적의 1:1 매칭을 찾아준다


✔ 쉽게 설명

예측 3개 vs 정답 3개:

예측정답비용
A12
A210
B13
B21

👉 가장 좋은 조합 찾기:

  • A → 1
  • B → 2

✔ DETR에서 하는 일

  • query 100개 생성
  • 실제 물체랑 1:1 매칭
  • 나머지는 “no object”로 학습

✔ 왜 중요하냐?

👉 이 덕분에:

  • 중복 예측 없음
  • NMS 필요 없음
  • End-to-End 가능

7. 전체 구조 비교

항목YOLORT-DETR
구조CNNCNN + Transformer
방식dense predictionset prediction
Anchor있음/없음 혼합없음
End-to-End일부 아님맞음
NMS필요없음
Matching없음Hungarian matching

8. 배포 관점 (실무 중요)


✔ 파이프라인

1
2
3
4
PyTorch
→ ONNX
→ TensorRT
→ 서비스

✔ 차이

항목YOLORT-DETR
NMS필요없음
변환약간 복잡깔끔
구조복잡단순

✔ 양자화

타입특징
FP32정확, 느림
FP16속도↑, 손실 거의 없음
INT8더 빠름, 약간 손실

👉 실무: FP16 많이 사용


9. 핵심 요약

👉 YOLO = 많이 예측 → 나중에 정리

👉 RT-DETR = 처음부터 정확히 예측


10. 진짜 중요한 개념 6개

  • End-to-End = 후처리 없이 직접 예측
  • Anchor = 기준 박스
  • Anchor-free = 박스 없이 예측
  • NMS = 중복 제거
  • Query = 물체 담당 슬롯
  • Hungarian Matching = 예측 ↔ 정답 매칭

이 글은 Velog 에 처음 올렸습니다.

This post is licensed under CC BY 4.0 by the author.