Post

RT-DETR 실전 정리

RT-DETR 실전 정리

PyTorch 코드 흐름 + ONNX → TensorRT 배포까지

이전 글에서 YOLO vs RT-DETR 구조를 정리했다면, 이번에는 실제로 “모델이 어떻게 돌아가는지 + 어떻게 배포하는지”까지 본다.

👉 목표:

  • RT-DETR 코드 흐름 이해
  • ONNX 변환
  • TensorRT 배포 구조 이해

1. RT-DETR 전체 파이프라인

먼저 전체 흐름부터 잡자.

1
2
3
4
5
이미지
→ Backbone (CNN)
→ Encoder (feature 정리)
→ Decoder (query 기반 객체 탐지)
→ 결과 (box + class)

👉 핵심:

  • CNN은 feature 추출
  • Transformer가 “물체를 직접 찾음”

2. PyTorch 기준 코드 흐름

RT-DETR 내부는 크게 3단계다.


2-1. Backbone (CNN)

1
features = backbone(images)

👉 역할:

  • 이미지 → feature map 변환

예:

  • ResNet
  • ConvNet

2-2. Encoder

1
encoded_features = encoder(features)

👉 역할:

  • feature 정리
  • multi-scale 정보 통합

RT-DETR 특징:

  • DETR보다 가벼운 hybrid encoder 사용
  • 속도 개선 핵심

2-3. Decoder (핵심🔥)

1
outputs = decoder(encoded_features, queries)

👉 여기서 모든 게 결정됨


✔ Query란?

1
2
query 100개 생성
→ 각각이 물체 하나 담당

✔ 실제 출력

1
2
pred_boxes  # (100, 4)
pred_logits # (100, num_classes)

👉 의미:

  • 100개의 후보가 아니라 👉 100개의 “slot”

3. 학습 과정 (Hungarian Matching 적용)

여기서 중요한 부분이다.


✔ 문제

1
2
예측: 100개
정답: 3개

👉 어떤 예측이 정답인지 모름


✔ 해결

👉 Hungarian Matching

1
2
예측 ↔ 정답
최적 매칭 수행

✔ 결과

1
2
3개 → 실제 객체
97개 → no-object

👉 이게 DETR의 핵심


✔ Loss 계산

1
loss = classification_loss + box_loss
  • class loss
  • bbox regression loss

👉 matching 기반으로 계산됨


4. 추론(Inference) 흐름

1
outputs = model(image)

👉 결과:

1
boxes + scores + classes

👉 특징:

  • NMS 없음
  • 바로 결과 사용 가능

5. ONNX 변환 (실무 핵심)

이제 배포 단계다.


✔ PyTorch → ONNX

1
2
3
4
5
6
7
8
torch.onnx.export(
    model,
    dummy_input,
    "rtdetr.onnx",
    opset_version=12,
    input_names=["images"],
    output_names=["output"]
)

✔ 체크 포인트

  • dynamic shape 여부
  • batch size
  • output shape 확인

✔ ONNX 검증

1
2
3
import onnx
onnx_model = onnx.load("rtdetr.onnx")
onnx.checker.check_model(onnx_model)

6. TensorRT 변환


✔ 변환 흐름

1
ONNX → TensorRT Engine

✔ 명령어 (기본)

1
trtexec --onnx=rtdetr.onnx --fp16 --saveEngine=rtdetr.engine

✔ 옵션 설명

옵션의미
–fp16FP16 최적화
–int8INT8 양자화
–workspaceGPU 메모리

✔ 결과

👉 .engine 파일 생성됨


7. TensorRT 추론 코드

1
context.execute_async_v2(bindings)

👉 핵심:

  • GPU에서 바로 실행
  • latency 최소화

8. YOLO vs RT-DETR (배포 관점)

항목YOLORT-DETR
NMS필요없음
ONNX 변환약간 복잡쉬움
TensorRTplugin 필요 가능깔끔
구조복잡단순

9. 성능 최적화 전략


✔ 1. FP16

👉 가장 먼저 적용

  • 속도 ↑
  • 정확도 거의 유지

✔ 2. INT8

👉 더 빠름

  • calibration 필요
  • 정확도 일부 손실 가능

✔ 3. Batch 처리

1
batch ↑ → throughput ↑

✔ 4. 입력 해상도 조절

1
640 → 512 → 416

👉 속도 크게 영향


10. 실무 배포 로드맵

1
2
3
4
5
6
7
8
9
10
11
12
13
[1] PyTorch 학습 완료
    ↓
[2] ONNX export
    ↓
[3] ONNX 검증
    ↓
[4] TensorRT 변환 (FP16)
    ↓
[5] 속도 측정
    ↓
[6] 필요 시 INT8 / 경량화
    ↓
[7] 서비스 배포

11. Jetson (엣지 디바이스)

👉 RT-DETR 쓰는 이유 중 하나

  • NVIDIA GPU 최적화 가능
  • TensorRT 바로 사용

✔ 추천 설정

  • FP16 필수
  • batch = 1
  • 해상도 낮추기

12. 핵심 정리

👉 RT-DETR 구조

  • CNN → Transformer → query 기반 탐지

👉 학습

  • Hungarian Matching으로 1:1 매칭

👉 추론

  • NMS 없음

👉 배포

  • ONNX → TensorRT 매우 깔끔

이 글은 Velog 에 처음 올렸습니다.

This post is licensed under CC BY 4.0 by the author.