RT-DETR 실전 정리
RT-DETR 실전 정리
PyTorch 코드 흐름 + ONNX → TensorRT 배포까지
이전 글에서 YOLO vs RT-DETR 구조를 정리했다면, 이번에는 실제로 “모델이 어떻게 돌아가는지 + 어떻게 배포하는지”까지 본다.
👉 목표:
- RT-DETR 코드 흐름 이해
- ONNX 변환
- TensorRT 배포 구조 이해
1. RT-DETR 전체 파이프라인
먼저 전체 흐름부터 잡자.
1
2
3
4
5
이미지
→ Backbone (CNN)
→ Encoder (feature 정리)
→ Decoder (query 기반 객체 탐지)
→ 결과 (box + class)
👉 핵심:
- CNN은 feature 추출
- Transformer가 “물체를 직접 찾음”
2. PyTorch 기준 코드 흐름
RT-DETR 내부는 크게 3단계다.
2-1. Backbone (CNN)
1
features = backbone(images)
👉 역할:
- 이미지 → feature map 변환
예:
- ResNet
- ConvNet
2-2. Encoder
1
encoded_features = encoder(features)
👉 역할:
- feature 정리
- multi-scale 정보 통합
RT-DETR 특징:
- DETR보다 가벼운 hybrid encoder 사용
- 속도 개선 핵심
2-3. Decoder (핵심🔥)
1
outputs = decoder(encoded_features, queries)
👉 여기서 모든 게 결정됨
✔ Query란?
1
2
query 100개 생성
→ 각각이 물체 하나 담당
✔ 실제 출력
1
2
pred_boxes # (100, 4)
pred_logits # (100, num_classes)
👉 의미:
- 100개의 후보가 아니라 👉 100개의 “slot”
3. 학습 과정 (Hungarian Matching 적용)
여기서 중요한 부분이다.
✔ 문제
1
2
예측: 100개
정답: 3개
👉 어떤 예측이 정답인지 모름
✔ 해결
👉 Hungarian Matching
1
2
예측 ↔ 정답
최적 매칭 수행
✔ 결과
1
2
3개 → 실제 객체
97개 → no-object
👉 이게 DETR의 핵심
✔ Loss 계산
1
loss = classification_loss + box_loss
- class loss
- bbox regression loss
👉 matching 기반으로 계산됨
4. 추론(Inference) 흐름
1
outputs = model(image)
👉 결과:
1
boxes + scores + classes
👉 특징:
- NMS 없음
- 바로 결과 사용 가능
5. ONNX 변환 (실무 핵심)
이제 배포 단계다.
✔ PyTorch → ONNX
1
2
3
4
5
6
7
8
torch.onnx.export(
model,
dummy_input,
"rtdetr.onnx",
opset_version=12,
input_names=["images"],
output_names=["output"]
)
✔ 체크 포인트
- dynamic shape 여부
- batch size
- output shape 확인
✔ ONNX 검증
1
2
3
import onnx
onnx_model = onnx.load("rtdetr.onnx")
onnx.checker.check_model(onnx_model)
6. TensorRT 변환
✔ 변환 흐름
1
ONNX → TensorRT Engine
✔ 명령어 (기본)
1
trtexec --onnx=rtdetr.onnx --fp16 --saveEngine=rtdetr.engine
✔ 옵션 설명
| 옵션 | 의미 |
|---|---|
| –fp16 | FP16 최적화 |
| –int8 | INT8 양자화 |
| –workspace | GPU 메모리 |
✔ 결과
👉 .engine 파일 생성됨
7. TensorRT 추론 코드
1
context.execute_async_v2(bindings)
👉 핵심:
- GPU에서 바로 실행
- latency 최소화
8. YOLO vs RT-DETR (배포 관점)
| 항목 | YOLO | RT-DETR |
|---|---|---|
| NMS | 필요 | 없음 |
| ONNX 변환 | 약간 복잡 | 쉬움 |
| TensorRT | plugin 필요 가능 | 깔끔 |
| 구조 | 복잡 | 단순 |
9. 성능 최적화 전략
✔ 1. FP16
👉 가장 먼저 적용
- 속도 ↑
- 정확도 거의 유지
✔ 2. INT8
👉 더 빠름
- calibration 필요
- 정확도 일부 손실 가능
✔ 3. Batch 처리
1
batch ↑ → throughput ↑
✔ 4. 입력 해상도 조절
1
640 → 512 → 416
👉 속도 크게 영향
10. 실무 배포 로드맵
1
2
3
4
5
6
7
8
9
10
11
12
13
[1] PyTorch 학습 완료
↓
[2] ONNX export
↓
[3] ONNX 검증
↓
[4] TensorRT 변환 (FP16)
↓
[5] 속도 측정
↓
[6] 필요 시 INT8 / 경량화
↓
[7] 서비스 배포
11. Jetson (엣지 디바이스)
👉 RT-DETR 쓰는 이유 중 하나
- NVIDIA GPU 최적화 가능
- TensorRT 바로 사용
✔ 추천 설정
- FP16 필수
- batch = 1
- 해상도 낮추기
12. 핵심 정리
👉 RT-DETR 구조
- CNN → Transformer → query 기반 탐지
👉 학습
- Hungarian Matching으로 1:1 매칭
👉 추론
- NMS 없음
👉 배포
- ONNX → TensorRT 매우 깔끔
이 글은 Velog 에 처음 올렸습니다.
This post is licensed under CC BY 4.0 by the author.