Post

TAO Toolkit으로 비디오 AI 모델 최적화하기

TAO Toolkit으로 비디오 AI 모델 최적화하기

이 글은 NVIDIA DLI 강의를 수강하며 개인 학습 목적으로 정리한 글입니다. 강의 원문이나 실습 자료를 그대로 옮기기보다는, 학습한 개념을 재구성했습니다.


1. 이번 파트의 핵심

이전 파트에서 DeepStream이 실시간 비디오 AI 파이프라인을 만드는 도구라는 것을 배웠다면, 이번 파트는 그 파이프라인 안에 들어갈 AI 모델을 어떻게 만들고 최적화할 것인가에 대한 내용이다.

비디오 AI 애플리케이션은 보통 다음과 같은 흐름으로 동작한다.

1
2
3
4
5
6
7
8
9
카메라 / 영상 입력
↓
프레임 디코딩
↓
AI 모델 추론
↓
객체 탐지 / 분류
↓
결과 표시 또는 서버 전송

여기서 가장 계산량이 큰 부분은 보통 AI 모델 추론이다.

예를 들어 차량을 탐지하고, 탐지된 차량의 종류를 다시 분류하는 시스템이 있다고 하면, 영상 프레임마다 딥러닝 모델이 계속 실행된다.

따라서 비디오 AI 모델은 단순히 정확하기만 하면 안 된다.

1
2
3
정확도는 높게
속도는 빠르게
모델 크기는 작게

이 세 가지를 함께 만족해야 한다.


2. 비디오 AI 모델 개발이 어려운 이유

딥러닝 모델을 처음부터 직접 만들고 학습시키는 것은 생각보다 어렵다.

필요한 것이 많기 때문이다.

1
2
3
4
5
6
대량의 학습 데이터
정확한 라벨링 데이터
TensorFlow / PyTorch 같은 프레임워크 지식
GPU 학습 환경
반복적인 학습과 평가
배포를 위한 최적화 작업

특히 실시간 영상 AI에서는 모델이 한 번만 실행되는 것이 아니라, 매초 수십 장의 프레임에 대해 반복적으로 실행된다.

예를 들어 30FPS 영상이라면 1초에 30장의 프레임이 들어온다.

1
2
3
4
5
1초에 30장 프레임 입력
↓
각 프레임마다 모델 추론
↓
객체 탐지 결과 생성

모델이 너무 크거나 느리면 실시간 처리가 어려워진다.

또한 Jetson 같은 edge device에서는 메모리와 연산 자원이 제한적이기 때문에, 모델을 그대로 배포하기 어렵다.

그래서 일반적으로는 다음과 같은 방식이 사용된다.

1
2
3
4
5
강력한 서버 또는 클라우드에서 모델 학습
↓
모델을 edge device에 맞게 최적화
↓
Jetson / GPU 서버 / DeepStream 환경에 배포

3. TAO Toolkit이란?

TAO Toolkit은 NVIDIA에서 제공하는 AI 모델 개발 도구다.

TAO는 다음 세 단어의 약자다.

1
2
3
Transfer
Adapt
Optimize

즉, TAO Toolkit은 이미 학습된 모델을 가져와서 내 데이터에 맞게 조정하고, 배포하기 좋게 최적화하는 도구라고 이해하면 된다.

한마디로 정리하면:

TAO Toolkit은 pretrained model을 활용해 적은 코드로 전이학습, 모델 최적화, export까지 수행할 수 있게 도와주는 NVIDIA의 AI 모델 개발 도구다.

TAO의 특징은 다음과 같다.

1
2
3
4
5
6
7
pretrained model 사용 가능
transfer learning 지원
configuration file 기반 학습
zero-coding 접근 방식
model pruning 지원
quantization-aware training 지원
DeepStream 배포용 export 지원

즉, 모델 구조를 직접 하나하나 구현하지 않아도, 설정 파일과 명령어를 통해 모델 학습과 최적화를 진행할 수 있다.


4. TAO와 DeepStream의 차이

처음에는 TAO와 DeepStream이 헷갈릴 수 있다.

둘 다 NVIDIA 비디오 AI 생태계에서 자주 등장하지만 역할이 다르다.

구분역할
TAO Toolkit모델을 학습, 전이학습, 최적화하는 도구
TensorRT모델 추론을 빠르게 실행하도록 최적화하는 엔진
DeepStream최적화된 모델을 영상 스트림에 연결해 실시간으로 실행하는 SDK

흐름으로 보면 다음과 같다.

1
2
3
4
5
6
7
8
TAO Toolkit
= 모델 학습 / 전이학습 / 최적화

TensorRT
= 모델 추론 속도 최적화

DeepStream
= 영상 입력부터 추론 결과 처리까지 연결

예를 들어 CCTV에서 차량을 탐지하는 시스템을 만든다고 하면:

1
2
3
4
5
6
7
TAO로 차량 탐지 모델 fine-tuning
↓
TensorRT engine으로 변환
↓
DeepStream pipeline에 연결
↓
실시간 CCTV 영상에서 차량 탐지

이런 식으로 연결된다.


5. Transfer Learning이란?

이번 파트에서 가장 중요한 개념은 Transfer Learning, 즉 전이학습이다.

전이학습은 이미 다른 데이터로 학습된 모델의 지식을 새로운 문제에 재사용하는 방법이다.

예를 들어 어떤 CNN 모델이 대규모 이미지 데이터셋으로 학습되어 있다고 해보자.

이 모델의 앞쪽 layer들은 보통 이미지의 기본적인 특징을 학습한다.

1
2
3
4
5
6
선
모서리
곡선
윤곽
색상 패턴
간단한 형태

이런 특징은 특정 문제에만 필요한 것이 아니라, 대부분의 이미지 인식 문제에서 공통적으로 유용하다.

그래서 모델을 처음부터 다시 학습하지 않고, 기존 모델의 일부 지식을 가져와서 새로운 task에 적용할 수 있다.


6. 전이학습이 유용한 이유

전이학습을 사용하면 다음과 같은 장점이 있다.

1
2
3
4
5
적은 데이터로 시작 가능
학습 시간 감소
GPU 비용 절감
기존 모델의 feature extraction 능력 활용
빠르게 prototype 제작 가능

예를 들어 기존에 차량을 잘 인식하는 모델이 있다면, 그 모델을 가져와서 특정 도로 환경이나 특정 카메라 각도에 맞게 다시 학습시킬 수 있다.

1
2
3
4
5
기존 차량 탐지 모델
↓
내 CCTV 데이터로 fine-tuning
↓
내 환경에 더 잘 맞는 차량 탐지 모델

비디오 AI에서는 카메라 위치, 각도, 조명, 도메인이 달라질 수 있기 때문에 이런 전이학습이 중요하다.


7. Fine-tuning이란?

Fine-tuning은 pretrained model을 내 데이터에 맞게 추가 학습시키는 것이다.

처음부터 모델을 학습하는 것이 아니라, 이미 학습된 모델을 출발점으로 삼는다.

1
2
3
4
5
pretrained model
↓
내 데이터로 추가 학습
↓
custom model

예를 들어 기존 모델이 차량 종류 6개를 분류한다고 하자.

1
2
3
4
5
6
sedan
SUV
truck
van
bus
motorcycle

여기에 새로운 차량 클래스를 추가하고 싶다면, 모델을 처음부터 다시 만들 필요 없이 기존 모델을 기반으로 fine-tuning할 수 있다.

1
2
3
4
5
6
7
8
9
기존 vehicle classification model
↓
새로운 클래스 데이터 추가
↓
config file 수정
↓
fine-tuning
↓
새로운 분류 모델 생성

8. TAO 모델 개발 Workflow

TAO Toolkit을 이용한 모델 개발 흐름은 대략 다음과 같다.

1
2
3
4
5
6
7
8
1. 데이터 준비
2. pretrained model 선택
3. 학습 또는 fine-tuning
4. 평가
5. 모델 최적화
6. 다시 평가
7. export
8. 배포

각 단계를 조금 더 풀어보면 다음과 같다.


1단계. 데이터 준비

모델 학습을 위해 이미지와 라벨 데이터를 준비한다.

1
2
3
4
이미지 데이터
annotation 파일
class label
train / validation split

모델마다 요구하는 데이터 포맷이 다를 수 있다.

객체 탐지 모델이라면 bounding box annotation이 필요하고, 분류 모델이라면 이미지별 class label이 필요하다.


2단계. Pretrained Model 선택

NGC에서 NVIDIA가 제공하는 pretrained model 또는 purpose-built model을 가져온다.

NGC는 NVIDIA GPU Cloud의 약자로, NVIDIA가 제공하는 모델, 컨테이너, 리소스를 받을 수 있는 플랫폼이다.

예를 들어 비디오 AI에서 사용할 수 있는 모델은 다음과 같은 것들이 있다.

1
2
3
4
TrafficCamNet
PeopleNet
VehicleTypeNet
DashCamNet

3단계. Train / Fine-tuning

준비한 데이터를 이용해 모델을 학습한다.

처음부터 학습하는 것이 아니라 pretrained model을 기반으로 fine-tuning하는 경우가 많다.


4단계. Evaluate

학습된 모델을 평가한다.

객체 탐지 모델에서는 보통 다음과 같은 지표를 본다.

1
2
3
4
5
accuracy
precision
recall
IoU
mAP

실시간 비디오 AI에서는 정확도뿐 아니라 속도도 중요하다.

1
2
3
4
FPS
latency
throughput
memory usage

5단계. Optimize

모델을 배포하기 좋게 최적화한다.

대표적인 최적화 기법은 다음과 같다.

1
2
3
model pruning
quantization
TensorRT engine conversion

6단계. 다시 Evaluate

최적화를 하면 모델 크기와 속도는 좋아질 수 있지만, 정확도가 떨어질 수도 있다.

그래서 최적화 후에는 반드시 다시 평가해야 한다.

1
2
3
4
5
최적화 전 정확도
↓
pruning / quantization 적용
↓
최적화 후 정확도 확인

7단계. Export

DeepStream이나 TensorRT에서 사용할 수 있는 형태로 모델을 export한다.


8단계. Deploy

최종 모델을 DeepStream pipeline에 넣어서 실시간 영상 AI 애플리케이션으로 실행한다.

1
2
3
4
5
6
7
8
9
카메라 입력
↓
DeepStream pipeline
↓
nvinfer에서 모델 추론
↓
metadata 생성
↓
OSD 표시 또는 서버 전송

9. Backbone이란?

TAO에서 모델을 선택할 때 architecture와 backbone이라는 말이 나온다.

Backbone은 쉽게 말하면 모델의 앞부분에서 이미지 특징을 추출하는 네트워크다.

1
2
3
4
5
6
7
8
9
Input Image
↓
Backbone
↓
Feature Map
↓
Detection / Classification Head
↓
Result

Backbone은 이미지에서 중요한 특징을 뽑아낸다.

예를 들어 객체 탐지 모델에서는 backbone이 이미지의 선, 윤곽, 형태, 패턴 등을 feature map으로 변환하고, 그 위에 detection head가 붙어 객체 위치와 class를 예측한다.

정리하면:

Backbone은 이미지에서 feature map을 추출하는 feature extractor 역할을 한다.


10. Purpose-built Model이란?

Purpose-built model은 NVIDIA가 특정 용도에 맞게 미리 학습해둔 production-quality 모델이다.

예를 들어:

모델용도
TrafficCamNet교통 카메라 객체 탐지
PeopleNet사람 탐지
VehicleTypeNet차량 종류 분류
DashCamNet차량 주행 영상 객체 탐지

이런 모델들은 smart city, retail, public safety, healthcare 같은 공통 비디오 AI 작업에 활용할 수 있다.

처음부터 모델을 만들기보다는 이런 모델을 시작점으로 사용하는 것이 효율적이다.

1
2
3
4
5
purpose-built model 사용
↓
내 데이터로 fine-tuning
↓
내 서비스에 맞는 모델 생성

11. Pruned Model과 Unpruned Model

NVIDIA 모델을 보면 pruned version과 unpruned version이 나오는 경우가 있다.

둘의 차이는 다음과 같다.

구분의미용도
Unpruned Model가지치기 전 원본 모델재학습, fine-tuning에 적합
Pruned Model불필요한 연결을 제거한 모델빠른 inference, 배포에 적합

Unpruned model은 더 크고 무겁지만, 추가 학습에 유리하다.

Pruned model은 더 작고 빠르기 때문에 edge device나 실시간 inference에 유리하다.


12. Model Pruning이란?

Model pruning은 모델에서 중요도가 낮은 연결이나 파라미터를 제거하는 기법이다.

쉽게 말하면:

모델의 불필요한 부분을 잘라내서 더 작고 빠르게 만드는 작업

이다.

1
2
3
4
5
6
7
큰 모델
↓
중요하지 않은 연결 제거
↓
작고 빠른 모델
↓
정확도 회복을 위해 retraining

Pruning을 하면 모델 크기가 줄고, inference 속도가 빨라질 수 있다.

하지만 모델 일부를 제거하는 것이기 때문에 정확도가 떨어질 수 있다.

그래서 pruning 후에는 다시 학습을 통해 정확도를 회복하는 과정이 필요하다.


13. Quantization이란?

Quantization은 모델의 숫자 표현 정밀도를 낮추는 최적화 기법이다.

딥러닝 모델은 학습할 때 보통 FP32를 많이 사용한다.

1
FP32 = 32-bit floating point

FP32는 정밀하지만 계산량과 메모리 사용량이 크다.

배포 환경에서는 더 가벼운 INT8을 사용하기도 한다.

1
INT8 = 8-bit integer

정리하면:

1
2
3
4
5
6
7
FP32 모델
↓
INT8 모델로 변환
↓
메모리 사용량 감소
↓
추론 속도 향상

하지만 단순히 FP32를 INT8로 변환하면 정확도가 떨어질 수 있다.

숫자 표현이 거칠어지기 때문이다.


14. Quantization-Aware Training이란?

Quantization-Aware Training, 줄여서 QAT는 quantization으로 인해 생길 오차를 학습 과정에서 미리 반영하는 방법이다.

일반적인 quantization은 이런 흐름이다.

1
2
3
4
5
FP32로 학습
↓
INT8로 변환
↓
정확도 손실 발생 가능

QAT는 이런 흐름이다.

1
2
3
학습 중부터 INT8 변환 오차를 고려
↓
배포 시 정확도 손실 감소

즉, 나중에 모델을 낮은 정밀도로 바꿀 것을 알고, 그 상황을 학습 중에 미리 반영하는 것이다.


15. TensorRT는 어떤 역할을 할까?

TensorRT는 NVIDIA GPU에서 딥러닝 inference를 빠르게 실행하기 위한 최적화 엔진이다.

TAO로 학습하고 export한 모델은 TensorRT engine으로 변환할 수 있다.

TensorRT는 다음과 같은 최적화 기능을 제공한다.

1
2
3
4
5
6
reduced precision
layer fusion
tensor fusion
kernel auto-tuning
dynamic tensor memory
multi-stream execution

쉽게 말하면:

TensorRT는 학습된 모델을 NVIDIA GPU에서 더 빠르고 효율적으로 실행되도록 바꿔주는 도구다.

DeepStream의 nvinfer plugin은 TensorRT 기반 inference를 수행한다.

따라서 실제 배포 흐름은 보통 이렇게 이어진다.

1
2
3
4
5
6
7
8
9
TAO로 모델 fine-tuning
↓
모델 pruning / quantization
↓
TensorRT engine으로 변환
↓
DeepStream nvinfer에 연결
↓
실시간 영상 AI 실행

16. DeepStream과 연결되는 최종 흐름

이 파트의 내용을 DeepStream과 연결하면 다음과 같다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
데이터 준비
↓
TAO Toolkit으로 pretrained model fine-tuning
↓
모델 평가
↓
pruning / quantization 적용
↓
다시 평가
↓
TensorRT engine export
↓
DeepStream pipeline에 연결
↓
실시간 영상 분석

DeepStream pipeline에서는 모델이 nvinfer plugin을 통해 실행된다.

1
2
3
4
5
6
7
8
9
10
11
source
↓
decoder
↓
streammux
↓
nvinfer
↓
nvdsosd
↓
sink

여기서 nvinfer가 AI 모델을 실행하는 부분이고, nvdsosd는 탐지 결과를 영상 위에 표시하는 부분이다.


17. 실무적으로 이해하기

예를 들어 구급차 내부 영상을 분석하는 AI를 만든다고 생각해보자.

목표가 BVM, 손 위치, 사람, 장비를 탐지하는 것이라면 다음과 같은 흐름으로 개발할 수 있다.

1
2
3
4
5
6
7
8
9
1. 관련 영상/이미지 데이터 수집
2. 객체 라벨링
3. NVIDIA pretrained model 선택
4. TAO로 fine-tuning
5. 모델 평가
6. pruning / quantization
7. TensorRT engine 생성
8. DeepStream으로 실시간 영상 처리
9. 결과 metadata를 CMS 서버로 전송

실시간 서비스에서는 모델 정확도뿐만 아니라 아래 요소도 중요하다.

1
2
3
4
5
6
FPS
latency
GPU 사용량
memory footprint
카메라 스트림 수
edge device 성능

18. 핵심 용어 정리

용어의미
TAO ToolkitNVIDIA의 모델 학습/전이학습/최적화 도구
Transfer Learning기존 모델의 학습된 특징을 새 문제에 재사용하는 방법
Fine-tuningpretrained model을 내 데이터에 맞게 추가 학습하는 것
Pretrained Model대규모 데이터로 미리 학습된 모델
Purpose-built Model특정 용도에 맞게 NVIDIA가 미리 만든 모델
Backbone이미지 특징을 추출하는 모델의 앞부분
Feature Mapbackbone이 뽑아낸 이미지 특징 표현
Pruning중요도가 낮은 연결을 제거해 모델을 작고 빠르게 만드는 기법
Pruned Modelpruning이 적용된 모델
Unpruned Modelpruning 전 원본 모델
QuantizationFP32 같은 높은 정밀도를 INT8 같은 낮은 정밀도로 줄이는 기법
QATquantization 오차를 고려하며 학습하는 방법
TensorRTNVIDIA GPU용 inference 최적화 엔진
DeepStream실시간 비디오 AI 파이프라인 SDK
nvinferDeepStream에서 TensorRT 모델을 실행하는 inference plugin

19. 이번 파트 한 줄 요약

이번 파트는 DeepStream 자체를 만드는 내용이라기보다, DeepStream에 넣을 AI 모델을 어떻게 준비하고 최적화하는지에 대한 내용이었다.

정리하면 다음 흐름이다.

1
2
3
4
5
6
7
8
9
pretrained model을 가져온다
↓
transfer learning으로 내 데이터에 맞춘다
↓
pruning과 quantization으로 가볍게 만든다
↓
TensorRT로 빠르게 실행되게 만든다
↓
DeepStream에 넣어 실시간 영상 AI 앱으로 배포한다

즉, TAO Toolkit은 비디오 AI 모델 개발에서 다음 문제를 해결하기 위한 도구라고 볼 수 있다.

1
2
3
4
5
모델을 처음부터 만들기 어렵다
데이터가 충분하지 않다
학습 시간이 오래 걸린다
edge device에서 모델이 너무 무겁다
DeepStream에 넣기 좋은 형태로 변환해야 한다

TAO Toolkit을 사용하면 pretrained model을 기반으로 빠르게 모델을 만들고, 실시간 inference에 적합하도록 최적화할 수 있다.


마무리

비디오 AI 애플리케이션을 만들 때는 단순히 모델 정확도만 보면 안 된다.

실시간으로 동작해야 하기 때문에 모델의 속도, 크기, 메모리 사용량, 배포 환경까지 함께 고려해야 한다.

이번 파트를 통해 TAO Toolkit이 왜 필요한지 이해할 수 있었다.

1
2
3
TAO Toolkit = 모델을 만들고 최적화하는 도구
TensorRT = 모델을 빠르게 실행하는 엔진
DeepStream = 모델을 영상 스트림에 연결하는 SDK

결국 NVIDIA의 비디오 AI 개발 흐름은 다음과 같이 정리할 수 있다.

1
TAO → TensorRT → DeepStream

이 흐름을 이해하면, 단순히 모델을 학습하는 단계를 넘어서 실제 실시간 영상 AI 서비스 구조까지 생각할 수 있다.


이 글은 Velog 에 처음 올렸습니다.

This post is licensed under CC BY 4.0 by the author.