객체 탐지 & Transformer 핵심 용어 정리
객체 탐지 & Transformer 핵심 용어 정리
— YOLO / RT-DETR / Attention / QKV
AI 객체 탐지를 공부하다 보면 이런 개념들이 계속 나온다:
- YOLO / RT-DETR
- Anchor / Anchor-free
- NMS / End-to-End
- Attention / Query
- Hungarian Matching
- Q / K / V
👉 이 글 목표:
흩어진 개념들을 하나로 연결해서 “전체 구조”로 이해하기
1. 전체 구조 먼저 보기
1
2
3
4
5
이미지
→ Backbone (특징 추출)
→ Encoder (관계 이해)
→ Decoder (객체 생성)
→ 결과
2. 핵심 용어 한방 정리
| 용어 | 한 줄 정의 | 쉽게 말하면 |
|---|---|---|
| Backbone | 특징 추출 | 이미지 → feature |
| Encoder | 관계 이해 | 전체 구조 파악 |
| Decoder | 결과 생성 | 객체 하나씩 생성 |
| Query | 탐지 슬롯 | 물체 담당 자리 |
| Attention | 중요도 계산 | 어디 볼지 결정 |
| Self-Attention | 내부 관계 | 전체 비교 |
| NMS | 중복 제거 | 겹친 박스 제거 |
| Anchor | 기준 박스 | 미리 깔아둔 틀 |
| Anchor-free | 직접 예측 | 바로 위치 생성 |
| End-to-End | 한 번에 처리 | 후처리 없음 |
| Hungarian Matching | 매칭 | 예측 ↔ 정답 연결 |
| Distillation | 지식 전달 | 큰 모델 → 작은 모델 |
3. YOLO vs Transformer 차이
| 항목 | YOLO | Transformer (RT-DETR) |
|---|---|---|
| 구조 | CNN | CNN + Attention |
| 방식 | dense prediction | set prediction |
| NMS | 필요 | 없음 |
| End-to-End | 일부 아님 | 맞음 |
| 문맥 이해 | 로컬 | 글로벌 |
| 예측 방식 | 많이 찍고 정리 | 직접 예측 |
4. Attention 핵심 이해
✔ 정의
👉 중요한 부분에 집중해서 보는 것
✔ 직관
1
2
사람 + 자동차 + 배경
→ 중요한 부분만 강조
✔ CNN vs Attention
| 모델 | 특징 |
|---|---|
| CNN | 주변만 봄 |
| Attention | 전체 관계 봄 |
5. Q, K, V
✔ 한 줄 정의
👉 “누가 누구를 얼마나 참고할지 계산하는 구조”
✔ 구성
| 요소 | 의미 |
|---|---|
| Q (Query) | 질문 |
| K (Key) | 비교 기준 |
| V (Value) | 실제 정보 |
✔ 동작 원리
1
Q와 K를 비교 → 중요도 계산 → V에 적용
✔ 수식 (핵심🔥)
\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
✔ 쉽게 풀면
- Q와 K 비교 → “얼마나 관련 있냐?”
- softmax → 중요도 정규화
- V에 적용 → 결과 생성
✔ 직관적 예시
1
2
3
4
Q: "사람"
K: "사람", "자동차", "배경"
→ 사람이랑 가장 유사
→ Value에서 사람 정보 강조
✔ 핵심 요약
👉 Q = 찾고 싶은 것 👉 K = 비교 대상 👉 V = 실제 정보
👉 결과 = “중요한 정보만 모은 것”
6. Self-Attention
✔ 정의
👉 입력끼리 서로 비교
✔ 예시
1
눈 ↔ 얼굴 ↔ 몸 ↔ 배경
👉 서로 관계 계산
✔ 효과
- global context 이해
- 멀리 있는 관계 파악
7. DETR / RT-DETR 구조
1
2
3
4
5
이미지
→ Backbone
→ Encoder
→ Decoder (Query 사용)
→ 결과
✔ Query 개념
| 항목 | 설명 |
|---|---|
| Query | 물체 하나 담당 |
| 개수 | 보통 100개 |
| 역할 | 객체 탐지 |
✔ 동작
1
2
3
query 1 → 사람
query 2 → 자동차
query 3 → 없음
8. Hungarian Matching
✔ 정의
👉 예측과 정답을 1:1로 매칭
✔ 역할
- 중복 제거
- NMS 필요 없음
✔ 핵심
👉 “누가 누구를 맞췄는지 결정”
9. Anchor vs Anchor-free
| 항목 | Anchor-based | Anchor-free |
|---|---|---|
| 방식 | 박스 수정 | 직접 생성 |
| 설계 | 필요 | 없음 |
| 대표 | YOLOv5 | YOLOv8, RT-DETR |
10. End-to-End vs 전통 방식
| 항목 | 전통 | End-to-End |
|---|---|---|
| 구조 | 모델 + 후처리 | 모델 하나 |
| NMS | 필요 | 없음 |
| 대표 | YOLO | DETR |
11. Latency vs FPS
| 용어 | 의미 |
|---|---|
| Latency | 한 장 처리 시간 |
| FPS | 초당 처리량 |
✔ 관계
1
FPS ≈ 1 / Latency
12. 배포 용어 정리
| 용어 | 설명 |
|---|---|
| ONNX | 모델 포맷 |
| TensorRT | GPU 최적화 |
| FP16 | 반정밀도 |
| INT8 | 양자화 |
| Pruning | 경량화 |
13. 전체 개념 연결
1
2
3
4
5
6
Backbone → 특징 추출
Encoder → 관계 이해
Attention → 중요도 계산 (QKV)
Decoder → Query로 객체 생성
Hungarian Matching → 정답 매칭
End-to-End → 후처리 제거
14. 한 줄 최종 정리
👉 YOLO = 위치 기반 탐지 + NMS
👉 Transformer (RT-DETR) = 관계 기반 탐지 + End-to-End
💡결론
👉 Attention = 어디를 볼지 결정 👉 QKV = 그걸 수식으로 계산 👉 Transformer = 전체 관계 이해 👉 DETR = 그걸 객체 탐지에 적용
이 글은 Velog 에 처음 올렸습니다.
This post is licensed under CC BY 4.0 by the author.