전이학습이란 무엇인가?
Pre-trained Model과 Transfer Learning 이해하기
신경망 모델을 직접 처음부터 학습하려면 생각보다 많은 요소를 고려해야 한다.
학습률을 정해야 하고, 몇 개의 layer를 쌓을지 결정해야 하며, 각 layer에 몇 개의 neuron을 둘지도 정해야 한다.
또 어떤 activation function을 사용할지, 얼마나 많은 데이터를 준비할지도 고민해야 한다.
1
2
3
4
5
learning rate
number of layers
number of neurons
activation function
training data
모델 하나를 제대로 학습시키는 일은 꽤 많은 시간과 비용이 드는 작업이다.
그렇다면 매번 모든 것을 처음부터 해야 할까?
다행히 그렇지 않다.
이미 많은 연구자와 개발팀이 대규모 데이터셋으로 학습한 모델을 공개하고 있다. 우리는 이런 모델을 가져와서 내 문제에 맞게 재사용할 수 있다.
이때 사용하는 개념이 전이학습(Transfer Learning)이다.
1. Pre-trained Model이란?
Pre-trained Model은 이미 다른 데이터셋으로 학습이 끝난 모델을 의미한다.
예를 들어 어떤 모델이 수백만 장의 이미지로 학습되어 있다고 하자. 이 모델은 이미 이미지에서 선, 모서리, 질감, 패턴, 물체의 형태 같은 특징을 어느 정도 이해하고 있다.
이런 모델을 처음부터 다시 학습시키지 않고 가져와서 사용할 수 있다.
1
2
Pre-trained Model
= 이미 대규모 데이터로 학습된 모델
TensorFlow, Keras, PyTorch 같은 프레임워크에서는 이런 모델을 쉽게 불러올 수 있다.
또 NVIDIA NGC 같은 플랫폼에서도 이미 학습된 모델을 제공한다.
즉, 우리는 이미 학습된 모델을 기반으로 새로운 문제를 더 빠르게 해결할 수 있다.
2. VGG16이란?
이번 실습에서 사용하는 모델은 VGG16이다.
VGG16은 이미지 인식 분야에서 유명한 CNN 구조 중 하나다.
이 모델은 2014년 ImageNet Challenge에서 좋은 성능을 보인 구조로 알려져 있다.
ImageNet은 수백만 장의 이미지에 라벨이 붙어 있는 대규모 이미지 데이터셋이다. 동물, 음식, 나무, 스포츠, 사람 등 다양한 카테고리의 이미지가 포함되어 있다.
VGG16은 이런 대규모 이미지 데이터셋으로 학습되었기 때문에, 일반적인 이미지 특징을 잘 추출할 수 있다.
1
2
VGG16
= ImageNet 데이터셋으로 학습된 대표적인 CNN 모델
3. Pre-trained Model을 그대로 사용하는 예시
예를 들어 자동 강아지 문을 만든다고 생각해보자.
문 앞에 카메라가 있고, 모델이 이미지를 보고 강아지인지 아닌지 판단한다.
1
2
3
4
5
6
7
카메라 이미지 입력
↓
모델이 강아지인지 판단
↓
강아지면 문 열림
↓
다른 동물이면 문 닫힘
ImageNet에는 다양한 동물 이미지가 포함되어 있기 때문에, ImageNet으로 학습된 VGG16은 일반적인 강아지를 어느 정도 인식할 수 있다.
이 경우에는 pre-trained model을 그대로 사용해도 어느 정도 동작할 수 있다.
하지만 문제가 하나 있다.
VGG16은 “강아지”라는 일반적인 개념은 알 수 있지만, 특정 강아지 한 마리를 구분하는 것은 어렵다.
4. 일반 강아지와 특정 강아지는 다르다
예를 들어 백악관에 자동 강아지 문을 설치한다고 가정해보자.
문은 아무 강아지에게나 열리면 안 된다. 오직 특정 강아지인 Bo에게만 열려야 한다.
이 경우 모델은 단순히 이렇게 판단하면 안 된다.
1
강아지인가?
대신 이렇게 판단해야 한다.
1
Bo인가?
하지만 VGG16은 일반적인 강아지를 구분하도록 학습된 모델이다. 따라서 Bo와 다른 강아지를 구분하는 능력은 부족할 수 있다.
이때 사용할 수 있는 방법이 전이학습이다.
5. Transfer Learning이란?
Transfer Learning은 이미 학습된 모델의 일부를 가져와서 새로운 문제에 맞게 재사용하는 방법이다.
쉽게 말하면, 기존 모델이 배운 지식을 새 모델의 출발점으로 사용하는 것이다.
예를 들어 VGG16은 이미 이미지에서 다음과 같은 특징을 추출하는 법을 배웠다.
1
2
3
4
5
6
선
모서리
곡선
질감
눈, 코, 귀 같은 부분 특징
물체의 형태
이런 기본적인 이미지 특징은 새로운 문제에서도 유용하다.
따라서 모델을 처음부터 학습시키지 않고, 기존 모델의 앞부분을 가져와서 사용할 수 있다.
1
2
3
기존 모델이 배운 이미지 특징
↓
새로운 문제에 재사용
6. 모델의 앞부분과 뒷부분은 역할이 다르다
CNN 모델은 앞쪽 layer와 뒤쪽 layer가 서로 다른 특징을 학습한다.
초기 layer는 일반적인 특징을 찾는다.
1
2
3
4
선
모서리
밝기 변화
간단한 패턴
중간 layer는 조금 더 복잡한 특징을 찾는다.
1
2
3
곡선
질감
부분 형태
뒤쪽 layer는 학습 데이터셋에 특화된 특징을 찾는다.
1
2
3
4
강아지 얼굴
새의 날개
자동차 형태
특정 클래스의 특징
즉, 모델이 깊어질수록 특징은 더 구체적이고 특정 데이터셋에 특화된다.
전이학습에서는 보통 기존 모델의 앞부분을 가져와 사용한다.
왜냐하면 앞부분에서 학습한 선, 모서리, 질감 같은 특징은 여러 이미지 문제에 공통적으로 유용하기 때문이다.
7. 모델의 끝부분을 잘라내고 새 layer를 붙인다
전이학습에서는 기존 모델을 그대로 모두 사용하는 것이 아니라, 보통 마지막 부분을 잘라낸다.
강의에서는 이를 “brain surgery”라고 비유한다.
물론 실제 뇌수술은 아니고, 모델의 layer 일부를 제거하고 새로운 layer를 붙이는 작업이다.
1
2
3
4
5
Pre-trained Model
↓
마지막 분류 layer 제거
↓
새로운 문제에 맞는 layer 추가
예를 들어 VGG16이 원래 1000개의 ImageNet 클래스를 분류하도록 만들어졌다면, 이 마지막 분류 layer는 우리 문제에 맞지 않을 수 있다.
우리가 원하는 것은 “Bo인지 아닌지”를 판단하는 모델이다.
따라서 마지막 출력 layer를 새 문제에 맞게 바꿔야 한다.
1
2
3
4
5
기존 출력:
1000개 ImageNet 클래스
새 출력:
Bo / Not Bo
8. Feature Extractor로 사용하기
전이학습에서 기존 CNN 모델의 앞부분은 feature extractor처럼 사용할 수 있다.
Feature extractor는 이미지에서 중요한 특징을 뽑아내는 역할을 한다.
1
2
3
4
5
6
7
8
9
이미지 입력
↓
VGG16 앞부분
↓
이미지 특징 추출
↓
새로운 분류기
↓
Bo인지 아닌지 판단
이렇게 하면 기존 모델이 이미 배운 이미지 이해 능력을 활용하면서, 마지막 판단 부분만 새롭게 학습시킬 수 있다.
9. Freezing이란?
전이학습에서 중요한 개념 중 하나가 freezing이다.
Freezing은 기존 모델의 weight가 학습 중에 바뀌지 않도록 고정하는 것을 의미한다.
1
2
freezing
= 기존 weight를 업데이트하지 않도록 고정
즉, 기존 모델이 이미 배운 특징 추출 능력을 그대로 사용하고, 새로 붙인 layer만 학습시키는 방식이다.
1
2
기존 VGG16 layer → 고정
새로 추가한 layer → 학습
이렇게 하면 작은 데이터셋에서도 비교적 안정적으로 학습할 수 있다.
10. 기존 모델의 weight를 학습 가능하게 두면?
기존 모델의 weight를 고정하지 않고 학습 가능하게 둘 수도 있다.
이 경우 기존 모델도 새로운 데이터셋에 맞게 조금씩 수정된다.
이를 통해 새 문제에 더 특화된 모델을 만들 수 있다.
하지만 주의할 점이 있다.
VGG16처럼 큰 모델은 weight 수가 매우 많다. 새로운 데이터셋이 작다면, 모델이 쉽게 과적합될 수 있다.
1
2
3
4
5
기존 모델까지 전부 학습
↓
학습해야 할 weight 수 증가
↓
데이터가 적으면 과적합 위험 증가
따라서 데이터가 적을 때는 기존 layer를 freeze하고, 새로 추가한 layer만 학습시키는 방식이 자주 사용된다.
11. Fine-tuning과 Transfer Learning
전이학습과 함께 자주 나오는 개념이 fine-tuning이다.
전이학습은 기존 모델을 가져와 새 문제에 활용하는 전체적인 접근 방식이다.
Fine-tuning은 그중에서도 기존 모델의 일부 layer를 다시 학습시키며 새 데이터에 맞게 조금 조정하는 방법이다.
1
2
3
4
5
Transfer Learning
= 기존 모델을 새 문제에 활용하는 방법
Fine-tuning
= 기존 모델의 일부 weight도 함께 조정하는 방법
보통은 다음과 같은 순서로 진행할 수 있다.
1
2
3
4
5
6
1. Pre-trained model을 불러온다.
2. 마지막 layer를 제거한다.
3. 새 문제에 맞는 layer를 추가한다.
4. 기존 layer를 freeze한다.
5. 새 layer만 먼저 학습한다.
6. 필요하면 일부 기존 layer를 unfreeze해서 fine-tuning한다.
12. 데이터 편향 문제
전이학습에서 주의해야 할 또 다른 문제는 data bias다.
Data bias는 특정 종류의 데이터가 과하게 많거나, 어떤 데이터가 부족하게 포함되어 있는 상태를 말한다.
예를 들어 자동차 제조사를 구분하는 모델을 만든다고 하자.
그런데 학습 데이터 대부분이 트럭이라면 어떻게 될까?
1
2
3
4
트럭 데이터 많음
밴 데이터 적음
스포츠카 데이터 적음
세단 데이터 적음
이 경우 모델은 트럭은 잘 구분하지만, 밴이나 스포츠카, 세단은 잘 구분하지 못할 수 있다.
즉, 데이터가 한쪽으로 치우치면 모델의 예측도 치우칠 수 있다.
13. 전이학습은 기존 모델의 편향도 가져올 수 있다
전이학습에서는 기존 모델이 배운 지식을 가져온다.
그런데 이 말은 기존 모델이 가진 편향도 함께 가져올 수 있다는 뜻이다.
예를 들어 기존 모델이 특정 인종, 특정 환경, 특정 카메라 조건의 이미지에 치우친 데이터로 학습되었다면, 새 모델도 그 영향을 받을 수 있다.
AI 윤리에서 자주 이야기되는 문제도 이와 관련이 있다.
모델이 일부 집단의 데이터만 충분히 학습하고, 다른 집단의 데이터는 부족하게 학습했다면 underrepresented group에 대해 부정확하거나 편향된 예측을 할 수 있다.
따라서 전이학습을 사용할 때는 다음을 고려해야 한다.
1
2
3
4
기존 모델은 어떤 데이터로 학습되었는가?
내 데이터셋과 얼마나 비슷한가?
특정 그룹이나 상황이 과소대표되어 있지는 않은가?
새 모델이 기존 편향을 그대로 가져오지는 않는가?
14. Dreaming이란?
이는 신경망이 이미지에서 어떤 패턴을 보고 있는지 시각적으로 확인하는 방법 중 하나다.
일반적인 학습에서는 gradient descent를 통해 loss를 줄인다.
하지만 dreaming에서는 반대로 모델이 특정 패턴을 더 강하게 보도록 loss를 키우는 방향으로 이미지를 조정한다.
1
2
3
4
5
일반 학습
→ loss를 줄이는 방향으로 학습
dreaming
→ 모델이 보는 패턴을 과장하는 방향으로 이미지 조정
이 과정을 통해 모델이 특정 layer에서 어떤 특징을 감지하는지 시각적으로 볼 수 있다.
예를 들어 어떤 모델이 강아지 사진을 많이 학습했다면, dreaming 결과 이미지에서 강아지처럼 보이는 패턴이 반복적으로 나타날 수 있다.
15. Deep Dream과 Inception
Deep Dream은 Google의 Inception 모델과 관련해서 유명해진 시각화 기법이다.
이미지를 모델에 통과시킨 뒤, 특정 layer가 강하게 반응하는 패턴을 더 강조하도록 이미지를 수정한다.
그 결과 꿈처럼 왜곡된 이미지가 만들어진다.
이런 이미지는 모델이 내부적으로 어떤 특징에 반응하는지 간접적으로 보여준다.
다만 이것을 너무 과학적으로 해석해서는 안 된다.
모델이 실제로 “생각”하거나 “꿈을 꾼다”는 의미가 아니라, 특정 layer의 활성화 패턴을 시각적으로 강조한 결과라고 보는 것이 적절하다.
16. 전이학습의 장점
전이학습의 장점은 명확하다.
첫째, 학습 시간을 줄일 수 있다.
처음부터 모델을 학습시키지 않고 이미 학습된 모델을 활용하기 때문에 더 빠르게 시작할 수 있다.
둘째, 적은 데이터로도 좋은 성능을 기대할 수 있다.
이미 대규모 데이터셋에서 학습한 이미지 특징을 활용하기 때문에, 새로운 데이터셋이 작아도 어느 정도 성능을 낼 수 있다.
셋째, 컴퓨팅 비용을 줄일 수 있다.
큰 모델을 처음부터 학습하려면 많은 GPU 자원과 시간이 필요하다. 전이학습은 이런 비용을 줄이는 데 도움이 된다.
1
2
3
4
5
전이학습의 장점
1. 학습 시간 절약
2. 적은 데이터에서도 활용 가능
3. 컴퓨팅 비용 절감
4. 기존 모델의 특징 추출 능력 재사용
17. 전이학습의 한계
전이학습이 항상 좋은 결과를 보장하는 것은 아니다.
기존 모델이 학습한 데이터와 새로운 데이터가 너무 다르면 성능이 좋지 않을 수 있다.
예를 들어 ImageNet으로 학습한 모델은 일반 사진에는 강하지만, 의료 영상이나 특수 센서 데이터에는 바로 잘 맞지 않을 수 있다.
또한 기존 모델의 편향이 새 모델에 영향을 줄 수 있다.
그리고 데이터가 너무 적은 상태에서 큰 모델 전체를 fine-tuning하면 과적합될 가능성이 높다.
1
2
3
4
5
전이학습의 주의점
1. 기존 데이터와 새 데이터의 차이
2. 기존 모델의 편향
3. 작은 데이터셋에서 과적합 위험
4. 어떤 layer를 freeze할지 결정 필요
18. 전체 흐름 정리
전이학습의 전체 흐름은 다음과 같이 정리할 수 있다.
1
2
3
4
5
6
7
1. 이미 학습된 pre-trained model을 불러온다.
2. 기존 모델의 마지막 분류 layer를 제거한다.
3. 새로운 문제에 맞는 layer를 추가한다.
4. 기존 layer의 weight를 freeze할지 결정한다.
5. 새 데이터셋으로 모델을 학습한다.
6. 필요하면 일부 layer를 unfreeze해서 fine-tuning한다.
7. 새 문제에 맞는 모델을 완성한다.
예를 들어 Bo만 인식하는 강아지 문을 만든다면 다음과 같은 구조가 된다.
1
2
3
4
5
6
7
8
9
이미지 입력
↓
VGG16의 convolution layer
↓
이미지 특징 추출
↓
새로 추가한 분류 layer
↓
Bo / Not Bo 예측
핵심 용어 정리
| 용어 | 의미 |
|---|---|
| Pre-trained Model | 이미 대규모 데이터로 학습된 모델 |
| Transfer Learning | 기존 모델의 지식을 새 문제에 활용하는 방법 |
| VGG16 | ImageNet 기반으로 유명한 CNN 모델 구조 |
| ImageNet | 대규모 이미지 분류 데이터셋 |
| Feature Extractor | 이미지에서 중요한 특징을 추출하는 부분 |
| Freeze | 기존 weight가 학습 중 바뀌지 않도록 고정하는 것 |
| Trainable | 학습 중 weight 업데이트가 가능한 상태 |
| Fine-tuning | 기존 모델의 일부 weight를 새 데이터에 맞게 조정하는 것 |
| Data Bias | 데이터가 특정 subset에 치우쳐 있는 현상 |
| Dreaming | 모델이 감지하는 패턴을 시각적으로 과장하는 기법 |
| Deep Dream | 신경망 layer의 활성화를 강조해 이미지를 변형하는 시각화 기법 |
마무리
딥러닝 모델을 처음부터 학습시키는 것은 많은 데이터, 시간, 연산 자원을 필요로 한다.
전이학습은 이미 잘 학습된 모델을 가져와 새로운 문제에 활용하는 방법이다.
특히 이미지 분야에서는 ImageNet 같은 대규모 데이터셋으로 학습된 CNN 모델을 feature extractor로 사용하고, 마지막 분류 layer만 새 문제에 맞게 바꾸는 방식이 자주 사용된다.
전이학습을 사용하면 적은 데이터로도 비교적 좋은 성능을 얻을 수 있고, 학습 시간과 비용도 줄일 수 있다.
하지만 기존 모델이 가진 데이터 편향을 함께 가져올 수 있으며, 새 데이터셋이 너무 작을 경우 과적합이 발생할 수 있다.
따라서 전이학습을 사용할 때는 어떤 layer를 가져올지, 어떤 layer를 freeze할지, 기존 모델의 학습 데이터가 내 문제와 얼마나 비슷한지 신중하게 고려해야 한다.
결국 전이학습의 핵심은 다음과 같다.
이미 배운 모델의 지식을 가져와, 새로운 문제에 맞게 다시 활용하는 방법
이 글은 Velog 에 처음 올렸습니다.