Post

객체 탐지 & Transformer 핵심 용어 정리

객체 탐지 & Transformer 핵심 용어 정리

— YOLO / RT-DETR / Attention / QKV

AI 객체 탐지를 공부하다 보면 이런 개념들이 계속 나온다:

  • YOLO / RT-DETR
  • Anchor / Anchor-free
  • NMS / End-to-End
  • Attention / Query
  • Hungarian Matching
  • Q / K / V

👉 이 글 목표:

흩어진 개념들을 하나로 연결해서 “전체 구조”로 이해하기


1. 전체 구조 먼저 보기

1
2
3
4
5
이미지
→ Backbone (특징 추출)
→ Encoder (관계 이해)
→ Decoder (객체 생성)
→ 결과

2. 핵심 용어 한방 정리

용어한 줄 정의쉽게 말하면
Backbone특징 추출이미지 → feature
Encoder관계 이해전체 구조 파악
Decoder결과 생성객체 하나씩 생성
Query탐지 슬롯물체 담당 자리
Attention중요도 계산어디 볼지 결정
Self-Attention내부 관계전체 비교
NMS중복 제거겹친 박스 제거
Anchor기준 박스미리 깔아둔 틀
Anchor-free직접 예측바로 위치 생성
End-to-End한 번에 처리후처리 없음
Hungarian Matching매칭예측 ↔ 정답 연결
Distillation지식 전달큰 모델 → 작은 모델

3. YOLO vs Transformer 차이

항목YOLOTransformer (RT-DETR)
구조CNNCNN + Attention
방식dense predictionset prediction
NMS필요없음
End-to-End일부 아님맞음
문맥 이해로컬글로벌
예측 방식많이 찍고 정리직접 예측

4. Attention 핵심 이해

✔ 정의

👉 중요한 부분에 집중해서 보는 것


✔ 직관

1
2
사람 + 자동차 + 배경
→ 중요한 부분만 강조

✔ CNN vs Attention

모델특징
CNN주변만 봄
Attention전체 관계 봄

5. Q, K, V

✔ 한 줄 정의

👉 “누가 누구를 얼마나 참고할지 계산하는 구조”

✔ 구성

요소의미
Q (Query)질문
K (Key)비교 기준
V (Value)실제 정보

✔ 동작 원리

1
Q와 K를 비교 → 중요도 계산 → V에 적용

✔ 수식 (핵심🔥)

\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V


✔ 쉽게 풀면

  1. Q와 K 비교 → “얼마나 관련 있냐?”
  2. softmax → 중요도 정규화
  3. V에 적용 → 결과 생성

✔ 직관적 예시

1
2
3
4
Q: "사람"
K: "사람", "자동차", "배경"
→ 사람이랑 가장 유사
→ Value에서 사람 정보 강조

✔ 핵심 요약

👉 Q = 찾고 싶은 것 👉 K = 비교 대상 👉 V = 실제 정보

👉 결과 = “중요한 정보만 모은 것”


6. Self-Attention

✔ 정의

👉 입력끼리 서로 비교


✔ 예시

1
눈 ↔ 얼굴 ↔ 몸 ↔ 배경

👉 서로 관계 계산


✔ 효과

  • global context 이해
  • 멀리 있는 관계 파악

7. DETR / RT-DETR 구조

1
2
3
4
5
이미지
→ Backbone
→ Encoder
→ Decoder (Query 사용)
→ 결과

✔ Query 개념

항목설명
Query물체 하나 담당
개수보통 100개
역할객체 탐지

✔ 동작

1
2
3
query 1 → 사람
query 2 → 자동차
query 3 → 없음

8. Hungarian Matching

✔ 정의

👉 예측과 정답을 1:1로 매칭


✔ 역할

  • 중복 제거
  • NMS 필요 없음

✔ 핵심

👉 “누가 누구를 맞췄는지 결정”


9. Anchor vs Anchor-free

항목Anchor-basedAnchor-free
방식박스 수정직접 생성
설계필요없음
대표YOLOv5YOLOv8, RT-DETR

10. End-to-End vs 전통 방식

항목전통End-to-End
구조모델 + 후처리모델 하나
NMS필요없음
대표YOLODETR

11. Latency vs FPS

용어의미
Latency한 장 처리 시간
FPS초당 처리량

✔ 관계

1
FPS ≈ 1 / Latency

12. 배포 용어 정리

용어설명
ONNX모델 포맷
TensorRTGPU 최적화
FP16반정밀도
INT8양자화
Pruning경량화

13. 전체 개념 연결

1
2
3
4
5
6
Backbone → 특징 추출
Encoder → 관계 이해
Attention → 중요도 계산 (QKV)
Decoder → Query로 객체 생성
Hungarian Matching → 정답 매칭
End-to-End → 후처리 제거

14. 한 줄 최종 정리

👉 YOLO = 위치 기반 탐지 + NMS

👉 Transformer (RT-DETR) = 관계 기반 탐지 + End-to-End

💡결론

👉 Attention = 어디를 볼지 결정 👉 QKV = 그걸 수식으로 계산 👉 Transformer = 전체 관계 이해 👉 DETR = 그걸 객체 탐지에 적용


이 글은 Velog 에 처음 올렸습니다.

This post is licensed under CC BY 4.0 by the author.