딥러닝에서 데이터 증강이 필요한 이유
딥러닝 모델의 성능이 좋지 않을 때 우리는 보통 모델 구조부터 의심한다.
층을 더 쌓아야 하나? 뉴런 수를 늘려야 하나? CNN 구조를 바꿔야 하나?
하지만 항상 모델이 문제인 것은 아니다. 때로는 데이터 자체가 문제일 수 있다.
머신러닝에서 자주 사용되는 말 중 하나가 있다.
Garbage in, garbage out.
좋지 않은 데이터를 넣으면, 좋은 결과를 기대하기 어렵다는 뜻이다.
신경망은 사람처럼 예시를 보고 학습한다. 따라서 학습에 사용되는 예시가 부족하거나 다양하지 않으면, 모델도 제대로 학습할 수 없다.
1. 모델은 다양한 예시를 봐야 한다
예를 들어 아이에게 강아지가 무엇인지 가르친다고 생각해보자.
강아지는 종류가 매우 다양하다.
```text id=”a94fj1” 치와와 푸들 진돗개 허스키 닥스훈트 그레이트데인
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
크기도 다르고, 털 길이도 다르다.
색깔, 코 모양, 꼬리 길이도 모두 다르다.
치와와와 그레이트데인을 처음 보는 외계인이 있다면, 둘이 같은 강아지라는 사실을 쉽게 이해하지 못할 수도 있다.
모델도 마찬가지다.
강아지 사진 몇 장만 보고 학습하면, 모델은 “강아지”라는 개념을 충분히 일반화하지 못한다.
---
## 2. 정답이 아닌 예시도 중요하다
모델이 강아지를 잘 구분하려면 강아지 사진만 많이 보는 것으로는 부족하다.
강아지가 아닌 예시도 함께 봐야 한다.
예를 들어 다음과 같은 동물들이 있다.
```text id="e09wpd"
코요테
여우
자칼
늑대
고양이
토끼
이들은 강아지와 비슷하게 생긴 경우도 있지만, 실제로는 강아지가 아니다.
모델이 강아지와 강아지가 아닌 것을 잘 구분하려면, 정답 예시와 오답 예시를 모두 다양하게 학습해야 한다.
즉, 분류 모델에서 중요한 것은 단순히 데이터 개수가 아니라 데이터의 다양성이다.
3. Data Augmentation이란?
좋은 데이터를 많이 모으는 것은 생각보다 어렵다.
사진을 직접 촬영해야 할 수도 있고, 라벨링 작업도 필요하다. 시간과 비용도 많이 든다.
이때 사용할 수 있는 방법이 Data Augmentation, 즉 데이터 증강이다.
데이터 증강은 기존 이미지를 조금씩 변형해서 새로운 학습 데이터처럼 사용하는 방법이다.
예를 들어 구슬 사진 한 장이 있다고 해보자. 이 사진을 여러 방식으로 변형할 수 있다.
```text id=”lmbss2” 좌우 반전 회전 확대 이동 밝기 변경 색상 변경
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
사람이 봤을 때는 여전히 같은 구슬이지만, 모델 입장에서는 조금씩 다른 이미지가 된다.
이렇게 하면 실제로 새로운 사진을 촬영하지 않아도 데이터의 다양성을 늘릴 수 있다.
---
## 4. 데이터 증강은 항상 좋은 것은 아니다
데이터 증강은 매우 유용하지만, 모든 상황에서 무조건 좋은 것은 아니다.
모델이 무엇을 학습해야 하는지에 따라 적절한 증강 방법이 달라진다.
예를 들어 꽃을 분류하는 모델을 만든다고 해보자.
꽃 분류에서는 색깔이 중요한 정보일 수 있다.
```text id="fnl5zz"
장미 → 빨간색일 가능성 높음
해바라기 → 노란색일 가능성 높음
라벤더 → 보라색 계열
그런데 색상을 무작위로 바꿔버리면, 모델이 오히려 중요한 정보를 잃을 수 있다.
즉, 데이터 증강을 할 때는 항상 다음 질문을 해야 한다.
이 변형을 해도 사람이 봤을 때 여전히 같은 클래스로 보이는가?
5. 이미지 뒤집기: Flip
가장 기본적인 이미지 증강 방법 중 하나는 flip이다.
Flip은 이미지를 좌우 또는 상하로 뒤집는 것이다.
```text id=”k1k4u0” horizontal flip = 좌우 반전 vertical flip = 상하 반전
1
2
3
4
5
6
7
8
9
10
11
12
예를 들어 미국 수어 알파벳 데이터셋에서는 좌우 반전이 어느 정도 적절할 수 있다.
오른손잡이와 왼손잡이에 따라 손 모양이 거울처럼 보일 수 있기 때문이다.
하지만 상하 반전은 적절하지 않을 가능성이 높다.
사람이 수어를 할 때 보통 거꾸로 서서 손동작을 하지는 않기 때문이다.
```text id="w01pcl"
좌우 반전 → 상황에 따라 가능
상하 반전 → 대부분 부적절
6. 숫자 데이터에서 Flip이 위험한 이유
Flip은 데이터셋에 따라 오히려 모델을 헷갈리게 만들 수 있다.
예를 들어 MNIST 숫자 데이터셋을 생각해보자.
숫자 6을 상하좌우로 뒤집으면 9처럼 보일 수 있다.
```text id=”e1fumw” 6을 뒤집음 ↓ 9처럼 보일 수 있음
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
이런 경우 모델은 잘못된 학습을 하게 된다.
따라서 이미지 증강은 단순히 많이 적용하는 것이 아니라, 해당 문제에 맞는지 판단해야 한다.
---
## 7. 이미지 회전: Rotation
**Rotation**은 이미지를 일정 각도만큼 회전시키는 방법이다.
현실에서는 사람이 손 모양이나 물체의 위치를 항상 같은 각도로 맞추기 어렵다.
그래서 약간의 회전은 모델이 더 다양한 상황을 학습하는 데 도움이 된다.
예를 들어 수어 데이터셋에서는 손이 완전히 같은 각도로 촬영되지 않을 수 있다.
```text id="zaacpy"
약간의 회전
→ 현실적인 변형
→ 모델 일반화에 도움
하지만 회전 각도가 너무 크면 문제가 된다.
손 모양이 90도 돌아가 있다면 실제 수어 이미지로 보기 어려울 수 있다.
```text id=”x8tczh” 작은 회전 → 유용할 수 있음 큰 회전 → 비현실적일 수 있음
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
---
## 8. 이미지 확대: Zoom
**Zoom**은 이미지를 확대하는 증강 방법이다.
이미지를 적당히 확대하면 같은 물체를 조금 더 가까이에서 본 것처럼 만들 수 있다.
하지만 너무 많이 확대하면 중요한 정보가 잘려나간다.
예를 들어 구슬 사진을 너무 확대하면 구슬의 전체 형태를 볼 수 없게 된다.
```text id="jeqcsa"
적당한 zoom
→ 데이터 다양성 증가
과한 zoom
→ 정보 손실
→ 모델 학습에 방해
따라서 zoom 역시 적당한 범위 안에서 사용해야 한다.
9. 이미지 이동: Translate
Translate는 이미지를 위, 아래, 왼쪽, 오른쪽으로 이동시키는 방법이다.
```text id=”bjhmlq” 왼쪽 이동 오른쪽 이동 위로 이동 아래로 이동
1
2
3
4
5
6
7
8
9
10
11
현실 이미지에서 물체가 항상 중앙에 위치하지는 않는다.
같은 구슬이라도 이미지 중앙에 있을 수도 있고, 약간 왼쪽이나 오른쪽에 있을 수도 있다.
이동 증강을 사용하면 모델이 물체의 위치 변화에 덜 민감해질 수 있다.
```text id="zrh0dx"
물체가 중앙에 있음
물체가 왼쪽에 있음
물체가 오른쪽에 있음
모두 같은 클래스로 학습할 수 있다면, 모델은 더 일반화된 특징을 배울 수 있다.
10. Homography란?
이미지를 회전하거나 이동하거나 확대하는 변형들은 더 큰 개념으로 보면 homography와 관련이 있다.
Homography는 이미지의 시점 변화나 평면 변환을 행렬 계산으로 표현하는 개념이다.
예를 들어 같은 물체를 보더라도 카메라 위치에 따라 다르게 보일 수 있다.
```text id=”b305bl” 정면에서 본 이미지 비스듬히 본 이미지 위에서 본 이미지 옆에서 본 이미지
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
이런 변화를 수학적으로 표현하면 이미지의 회전, 이동, 확대, 왜곡 등을 행렬 연산으로 다룰 수 있다.
쉽게 말하면 homography는 다음과 같이 이해할 수 있다.
> 이미지를 다른 시점에서 본 것처럼 변형하는 수학적 방법
---
## 11. 밝기 조정: Brightness
현실에서 촬영되는 이미지는 항상 같은 조명 조건을 갖지 않는다.
어떤 사진은 밝고, 어떤 사진은 어둡다.
그림자가 생길 수도 있고, 조명이 강하게 들어올 수도 있다.
```text id="ucgfli"
밝은 환경
어두운 환경
그림자가 있는 환경
조명이 강한 환경
그래서 밝기 조정은 실제 환경에서 사용할 모델을 만들 때 유용한 데이터 증강 방법이다.
이미지의 밝기를 조금씩 바꿔주면, 모델은 다양한 조명 조건에서도 더 잘 작동할 수 있다.
하지만 너무 과한 밝기 조정은 좋지 않다.
이미지가 너무 어두워지거나 너무 밝아져서 사람이 봐도 구분하기 어려우면, 모델도 학습하기 어렵다.
```text id=”dun0zw” 적절한 밝기 조정 → 유용함 과한 밝기 조정 → 정보 손실
1
2
3
4
5
6
7
8
9
10
11
12
13
---
## 12. 컬러 이미지와 RGB 채널
흑백 이미지는 보통 하나의 채널만 가진다.
반면 컬러 이미지는 보통 3개의 채널을 가진다.
```text id="ealnnt"
R = Red
G = Green
B = Blue
각 픽셀은 빨강, 초록, 파랑 값의 조합으로 색을 표현한다.
예를 들어 다음과 같은 값이 있다고 하자.
```text id=”mr1s9m” R: 255 G: 0 B: 0
1
2
3
4
5
6
7
8
9
이 픽셀은 빨간색이 된다.
또 다른 예시는 다음과 같다.
```text id="qxn321"
R: 125
G: 0
B: 255
이 경우 보라색 계열의 색이 된다.
즉, 컬러 이미지는 높이와 너비뿐 아니라 색상 채널이라는 세 번째 차원을 가진다.
```text id=”f9pw7y” height × width × channel
1
2
3
4
5
6
7
8
9
10
11
12
13
---
## 13. Channel Shift
**Channel shift**는 RGB 각 채널의 픽셀 값에 일정한 값을 더하거나 빼는 방식이다.
예를 들어 red 채널 값을 조금 올리거나, blue 채널 값을 조금 낮추는 식이다.
```text id="c3qdit"
R 채널 + random value
G 채널 - random value
B 채널 + random value
이렇게 하면 이미지의 색감이 조금 달라진다.
Channel shift는 다양한 조명이나 카메라 환경을 반영하는 데 도움이 될 수 있다.
하지만 색상이 중요한 분류 문제에서는 조심해야 한다.
예를 들어 꽃이나 과일처럼 색이 클래스 구분에 중요한 역할을 하는 경우, 과한 channel shift는 모델을 헷갈리게 만들 수 있다.
14. 데이터 증강의 가장 중요한 기준
데이터 증강을 사용할 때 가장 중요한 기준은 다음과 같다.
사람이 봤을 때도 여전히 같은 클래스로 해석되는가?
예를 들어 구슬 사진을 살짝 회전하거나 밝기를 조정하는 것은 괜찮을 수 있다.
하지만 너무 확대해서 구슬인지 알 수 없거나, 색상을 너무 바꿔 다른 물체처럼 보인다면 좋은 증강이 아니다.
모델은 사람이 해석할 수 있는 패턴을 바탕으로 학습한다.
따라서 사람이 봐도 알아보기 어려운 이미지는 컴퓨터도 제대로 학습하기 어렵다.
```text id=”oubbf5” 사람이 봐도 이해하기 어려운 이미지 ↓ 모델도 학습하기 어려움
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
---
## 15. 데이터 증강의 효과
데이터 증강을 사용하면 하나의 이미지에서 여러 개의 학습 이미지를 만들 수 있다.
예를 들어 원본 구슬 사진 하나에서 다음과 같은 변형 이미지를 만들 수 있다.
```text id="shpz5t"
좌우 반전 이미지
회전 이미지
확대 이미지
이동 이미지
밝기 조정 이미지
색상 조정 이미지
강의에서는 하나의 원본 이미지에서 여러 변형을 만들어 총 39개의 이미지를 얻을 수 있었다고 설명한다.
이처럼 데이터 증강은 적은 데이터로도 더 다양한 학습 예시를 만드는 강력한 방법이다.
하지만 무작위로 생성된 증강 이미지를 꼭 확인해야 한다.
무작위 증강 결과가 사람이 봐도 해석하기 어렵다면, 모델에게도 좋은 학습 데이터가 아닐 가능성이 높다.
16. 모델 배포와 입력 형식 문제
마지막으로 중요한 내용은 모델 배포(model deployment)다.
모델은 학습할 때 특정한 입력 형태를 기준으로 만들어진다.
예를 들어 학습할 때 모델이 다음과 같은 이미지를 사용했다고 하자.
```text id=”qsga5p” 28 × 28 grayscale batch 형태
1
2
3
4
5
6
7
그런데 실제 서비스에서 사용자가 올리는 이미지는 다를 수 있다.
```text id="sfc8b8"
1000 × 800
컬러 이미지
단일 이미지
이 경우 모델에 바로 넣을 수 없다. 모델이 기대하는 입력 형태에 맞게 전처리해야 한다.
17. Resize: 이미지 크기 맞추기
모델이 28×28 이미지를 학습했다면, 예측할 이미지도 28×28로 맞춰야 한다.
```text id=”dguoq6” 1000 × 800 이미지 ↓ 28 × 28 이미지로 변환
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
이 과정을 resize라고 한다.
이미지 크기가 맞지 않으면 모델의 입력 차원과 맞지 않아 에러가 발생하거나, 예측이 제대로 이루어지지 않을 수 있다.
---
## 18. 컬러 이미지를 흑백 이미지로 변환하기
모델이 흑백 이미지로 학습했다면, 실제 입력 이미지도 흑백으로 변환해야 한다.
컬러 이미지는 RGB 3개 채널을 가지지만, 흑백 이미지는 보통 하나의 채널만 가진다.
간단한 방법은 RGB 값의 평균을 사용하는 것이다.
```text id="po5gue"
grayscale = (R + G + B) / 3
예를 들어 한 픽셀의 RGB 값이 다음과 같다면:
```text id=”h7a84c” R = 120 G = 90 B = 60
1
2
3
4
5
평균은 다음과 같다.
```text id="rjubt4"
(120 + 90 + 60) / 3 = 90
이 값을 흑백 픽셀 값으로 사용할 수 있다.
실제 이미지 처리 라이브러리에서는 더 정교한 변환식을 사용하기도 하지만, 기본 아이디어는 여러 색상 채널을 하나의 밝기 값으로 바꾸는 것이다.
19. Batch Dimension 추가하기
모델은 보통 이미지를 한 장씩이 아니라 batch 단위로 학습한다.
예를 들어 CNN 모델의 입력 형태는 보통 다음과 같다.
```text id=”so4gdz” (batch_size, height, width, channel)
1
2
3
4
5
6
7
그런데 실제 예측할 때는 이미지 한 장만 넣고 싶을 수 있다.
이미지 한 장의 형태가 다음과 같다고 하자.
```text id="utowv5"
(28, 28, 1)
하지만 모델은 batch 차원이 포함된 입력을 기대할 수 있다.
이 경우 앞쪽에 차원을 하나 추가해준다.
```text id=”evk282” (1, 28, 28, 1)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
여기서 첫 번째 `1`은 이미지가 한 장이라는 의미다.
강의에서는 이것을 “이미지 바깥에 괄호 한 쌍을 더 붙이는 것”이라고 설명한다.
---
## 20. 전체 흐름 정리
이 내용을 전체적으로 정리하면 다음과 같다.
```text id="t77ljy"
1. 모델 성능이 낮다고 항상 모델 구조가 문제인 것은 아니다.
2. 데이터 품질과 다양성이 부족하면 모델도 제대로 학습하지 못한다.
3. 데이터 증강은 기존 이미지를 변형해 학습 데이터를 늘리는 방법이다.
4. Flip, rotation, zoom, translate, brightness, channel shift 등을 사용할 수 있다.
5. 모든 증강이 항상 좋은 것은 아니며, 문제에 맞게 선택해야 한다.
6. 사람이 봐도 같은 클래스로 인식 가능한 변형만 사용하는 것이 좋다.
7. 실제 배포 시에는 이미지 크기, 색상 채널, batch 차원을 모델 입력 형식에 맞춰야 한다.
핵심 용어 정리
| 용어 | 의미 |
|---|---|
| Data Augmentation | 기존 데이터를 변형해 학습 데이터를 늘리는 방법 |
| Flip | 이미지를 좌우 또는 상하로 뒤집는 증강 |
| Horizontal Flip | 좌우 반전 |
| Vertical Flip | 상하 반전 |
| Rotation | 이미지를 일정 각도로 회전시키는 증강 |
| Zoom | 이미지를 확대하는 증강 |
| Translate | 이미지를 상하좌우로 이동시키는 증강 |
| Homography | 이미지의 시점 변화나 평면 변환을 행렬로 표현하는 개념 |
| Brightness | 이미지 밝기를 조정하는 증강 |
| RGB Channel | 컬러 이미지를 구성하는 Red, Green, Blue 채널 |
| Channel Shift | 색상 채널 값에 변화를 주는 증강 |
| Resize | 모델 입력 크기에 맞게 이미지 크기를 바꾸는 전처리 |
| Grayscale | 컬러 이미지를 흑백 이미지로 변환한 형태 |
| Batch Dimension | 여러 데이터를 한 번에 처리하기 위한 묶음 차원 |
마무리
딥러닝 모델의 성능은 모델 구조만으로 결정되지 않는다.
좋은 모델을 만들기 위해서는 좋은 데이터가 필요하다. 데이터가 부족하거나 다양하지 않으면 모델은 새로운 상황에 잘 대응하지 못하고 과적합될 수 있다.
데이터 증강은 이런 문제를 완화하는 강력한 방법이다.
기존 이미지를 뒤집고, 회전시키고, 확대하고, 이동시키고, 밝기나 색상을 조정하면 더 다양한 학습 예시를 만들 수 있다.
하지만 중요한 것은 무조건 많이 변형하는 것이 아니다.
사람이 봐도 여전히 같은 클래스로 보이는가?
이 기준을 만족하는 증강만 사용하는 것이 좋다.
또한 학습이 끝난 모델을 실제 서비스에 배포할 때는 입력 이미지의 크기, 색상 채널, batch 차원이 모델이 학습한 형식과 일치하도록 전처리해야 한다.
결국 데이터 증강과 입력 전처리는 모델 성능뿐 아니라 실제 서비스 적용 가능성에도 큰 영향을 주는 중요한 과정이다.
이 글은 Velog 에 처음 올렸습니다.