YOLO vs Transformer (RT-DETR) 완전 정리
YOLO vs Transformer (RT-DETR) 완전 정리
— End-to-End, Anchor-free, Hungarian Matching까지
AI 객체 탐지를 공부하다 보면 꼭 나오는 개념들이 있다.
- YOLO
- DETR / RT-DETR
- Anchor / Anchor-free
- NMS
- End-to-End
- Hungarian Matching
처음 보면 전부 따로 노는 개념 같지만, 사실 이건 전부 하나로 연결된다.
👉 핵심 질문 하나로 정리된다:
“모델이 물체를 어떻게 예측하느냐?”
1. End-to-End란 무엇인가?
✔ 정의
👉 입력부터 최종 결과까지를 하나의 모델이 직접 학습하는 구조
✔ 비교로 이해하기
❌ 전통적인 방식 (Non End-to-End)
1
2
3
4
이미지
→ 모델: 후보 박스 수천 개 생성
→ NMS: 중복 제거
→ 최종 결과
문제:
- 모델이 완성된 결과를 만들지 않음
- 마지막은 사람이 만든 규칙(NMS)이 처리
👉 즉, 모델 + 후처리 = 결과
✅ End-to-End 방식
1
2
3
이미지
→ 모델이 바로 최종 박스 예측
→ 끝
👉 후처리 없음 👉 모델이 처음부터 “정답 형태”를 학습
✔ 왜 중요하냐?
- 구조 단순
- 배포 쉬움
- 최적화 일관성 높음
하지만:
- 학습 난이도 ↑
- 데이터 요구 ↑
✔ 대표 모델
- 전통 YOLO → End-to-End 아님
- DETR → End-to-End
- RT-DETR → End-to-End
2. Anchor란 무엇인가?
✔ 정의
👉 “이 위치에 물체가 있을 것 같다”는 기준 박스
✔ 동작 방식
이미지를 grid로 나눈 뒤:
1
2
3
4
각 위치마다
→ 작은 박스
→ 중간 박스
→ 큰 박스
👉 이걸 미리 깔아둔다 → Anchor
✔ Anchor-based 방식
1
2
3
Anchor 기준으로
→ 위치 조금 수정
→ 물체 예측
👉 즉:
“기존 박스를 보정하는 방식”
✔ 문제점
- anchor 설계 필요 (비율, 크기)
- 데이터마다 튜닝 필요
- 구조 복잡
3. Anchor-free란?
✔ 정의
👉 anchor 없이 바로 물체 위치를 예측하는 방식
✔ 차이
| 구분 | Anchor-based | Anchor-free |
|---|---|---|
| 시작 | 미리 박스 | 픽셀/포인트 |
| 방식 | 수정 | 직접 생성 |
| 복잡도 | 높음 | 낮음 |
✔ 예시
- YOLOv5 → anchor-based
- YOLOv8 → anchor-free
- RT-DETR → anchor-free + query
4. YOLO vs RT-DETR 핵심 차이
✔ YOLO (전통적인 방식)
1
2
3
4
이미지
→ CNN
→ 후보 박스 많이 생성
→ NMS로 정리
👉 특징:
- 빠름
- 안정적
- 실무에서 많이 사용
✔ RT-DETR
1
2
3
4
이미지
→ CNN
→ Transformer (query)
→ 바로 결과
👉 핵심:
- query = 물체 하나 담당
✔ 직관적 비교
YOLO
“여기 있을까? 저기 있을까?”
→ 수천 개 찍고 나중에 정리
RT-DETR
“이 이미지에 물체 100개까지 있다고 가정하고 각각 하나씩 내가 책임지고 찾는다”
👉 그래서 NMS 필요 없음
5. NMS (Non-Maximum Suppression)
✔ 역할
👉 겹치는 박스 제거
✔ 동작
- 점수 높은 박스 선택
- 겹치는 박스 제거
- 반복
✔ 문제점
- 속도 느림 (순차 처리)
- threshold 튜닝 필요
- 가까운 객체 같이 삭제될 수 있음
- 배포 복잡
6. Hungarian Matching (핵심🔥)
이게 DETR 이해의 핵심이다.
✔ 개념
👉 Hungarian Matching = 예측과 정답을 가장 비용이 적게 들게 매칭하는 알고리즘
✔ 문제 상황
모델 출력:
1
예측 박스 100개
정답:
1
실제 물체 3개
👉 어떤 예측이 어떤 정답과 대응되는지 모름
✔ 해결 방법
👉 최적의 1:1 매칭을 찾아준다
✔ 쉽게 설명
예측 3개 vs 정답 3개:
| 예측 | 정답 | 비용 |
|---|---|---|
| A | 1 | 2 |
| A | 2 | 10 |
| B | 1 | 3 |
| B | 2 | 1 |
👉 가장 좋은 조합 찾기:
- A → 1
- B → 2
✔ DETR에서 하는 일
- query 100개 생성
- 실제 물체랑 1:1 매칭
- 나머지는 “no object”로 학습
✔ 왜 중요하냐?
👉 이 덕분에:
- 중복 예측 없음
- NMS 필요 없음
- End-to-End 가능
7. 전체 구조 비교
| 항목 | YOLO | RT-DETR |
|---|---|---|
| 구조 | CNN | CNN + Transformer |
| 방식 | dense prediction | set prediction |
| Anchor | 있음/없음 혼합 | 없음 |
| End-to-End | 일부 아님 | 맞음 |
| NMS | 필요 | 없음 |
| Matching | 없음 | Hungarian matching |
8. 배포 관점 (실무 중요)
✔ 파이프라인
1
2
3
4
PyTorch
→ ONNX
→ TensorRT
→ 서비스
✔ 차이
| 항목 | YOLO | RT-DETR |
|---|---|---|
| NMS | 필요 | 없음 |
| 변환 | 약간 복잡 | 깔끔 |
| 구조 | 복잡 | 단순 |
✔ 양자화
| 타입 | 특징 |
|---|---|
| FP32 | 정확, 느림 |
| FP16 | 속도↑, 손실 거의 없음 |
| INT8 | 더 빠름, 약간 손실 |
👉 실무: FP16 많이 사용
9. 핵심 요약
👉 YOLO = 많이 예측 → 나중에 정리
👉 RT-DETR = 처음부터 정확히 예측
10. 진짜 중요한 개념 6개
- End-to-End = 후처리 없이 직접 예측
- Anchor = 기준 박스
- Anchor-free = 박스 없이 예측
- NMS = 중복 제거
- Query = 물체 담당 슬롯
- Hungarian Matching = 예측 ↔ 정답 매칭
이 글은 Velog 에 처음 올렸습니다.
This post is licensed under CC BY 4.0 by the author.