Dense Neural Network의 한계와 CNN의 등장
이전 실습에서는 Dense Neural Network를 이용해 이미지 분류를 수행했다.
Dense Neural Network는 모든 뉴런이 다음 층의 모든 뉴런과 연결되는 구조다. 28×28 픽셀 이미지를 입력으로 사용한다면, 이미지를 784개의 숫자로 펼친 뒤 모델에 넣는다.
1
28 × 28 = 784
이 방식으로도 어느 정도 성능은 나온다. 예를 들어 이전 실습에서는 약 90% 정도의 정확도를 얻었다.
하지만 문제가 있었다.
Training accuracy는 높았지만, validation accuracy는 상대적으로 낮았다. 이는 모델이 학습 데이터에는 잘 맞지만 새로운 데이터에는 약한 상태일 수 있다는 뜻이다.
이런 현상을 과적합(overfitting)이라고 한다.
1
2
3
training accuracy 높음
validation accuracy 낮음
→ 과적합 가능성
이미지 데이터는 단순한 숫자 배열이 아니다. 이미지 안에는 픽셀 간의 위치 관계, 선, 모서리, 질감, 패턴 같은 공간적 정보가 들어 있다.
Dense Neural Network는 이미지를 일렬로 펼쳐서 처리하기 때문에 이런 공간적 구조를 충분히 활용하기 어렵다.
그래서 이미지 인식에서는 보통 CNN(Convolutional Neural Network)을 사용한다.
1. CNN이란?
CNN은 Convolutional Neural Network의 약자다. 한국어로는 합성곱 신경망이라고 부른다.
CNN은 이미지에서 특징을 추출하는 데 특화된 신경망 구조다.
이미지를 볼 때 사람은 단순히 픽셀 하나하나를 따로 보는 것이 아니라, 선, 모서리, 곡선, 패턴, 물체의 일부를 단계적으로 인식한다.
CNN도 이와 비슷한 방식으로 이미지를 처리한다.
1
2
3
4
5
6
7
선, 모서리 감지
↓
패턴 감지
↓
부분 형태 감지
↓
전체 객체 인식
즉, CNN은 이미지에서 중요한 특징을 단계적으로 찾아내는 모델이라고 볼 수 있다.
2. Kernel: 이미지를 훑는 작은 필터
CNN에서 가장 중요한 개념 중 하나가 kernel이다.
Kernel은 작은 숫자 행렬이다. 보통 3×3 크기의 kernel을 많이 사용한다.
예를 들면 다음과 같다.
1
2
3
[ 1 0 -1
1 0 -1
1 0 -1 ]
이 kernel을 이미지 위에 올려놓고, 겹치는 픽셀 값들과 하나씩 곱한 뒤 모두 더한다.
이 과정을 이미지 전체에 반복한다.
이것이 바로 convolution, 즉 합성곱이다.
3. Convolution이란?
Convolution은 kernel을 이미지 위에서 움직이며 계산하는 과정이다.
쉽게 말하면, 작은 창문으로 이미지를 조금씩 훑어보면서 특정 특징이 있는지 확인하는 작업이다.
1
2
3
4
5
6
7
8
9
이미지 일부 선택
↓
kernel과 픽셀 값을 곱함
↓
곱한 값을 모두 더함
↓
kernel을 한 칸 이동
↓
같은 과정 반복
예를 들어 6×6 이미지에 3×3 kernel을 적용하면, kernel은 이미지의 일부분을 차례대로 훑으면서 새로운 값을 만들어낸다.
이렇게 만들어진 결과는 원본 이미지에서 특정 특징이 강조된 새로운 이미지가 된다.
4. 이미지 편집 프로그램의 필터와 비슷하다
Convolution은 사실 이미지 편집 프로그램에서 사용하는 필터와 비슷하다.
포토샵, 그림판, GIMP 같은 프로그램에서 다음과 같은 기능을 사용해본 적이 있을 것이다.
1
2
3
4
blur
sharpen
brighten
darken
이런 기능들도 내부적으로는 이미지의 픽셀 값을 주변 픽셀과 함께 계산해서 새로운 이미지로 바꾸는 방식이다.
예를 들어 blur는 주변 픽셀들의 평균을 내서 이미지를 흐리게 만든다.
1
2
주변 픽셀의 평균 계산
→ 이미지가 부드럽고 흐릿해짐
반대로 sharpen은 중심 픽셀을 강조하고 주변 픽셀을 조정해서 경계를 더 선명하게 만든다.
1
2
3
중심 픽셀 강조
주변 픽셀과의 차이 강조
→ 이미지가 선명해짐
CNN의 convolution도 이와 비슷하게 kernel을 이용해 이미지의 특징을 추출한다.
5. CNN은 kernel 값을 직접 학습한다
초기 컴퓨터 비전에서는 사람이 직접 kernel을 설계했다.
예를 들어 고양이를 찾고 싶다면 사람이 직접 이런 필터를 만들 수 있었다.
1
2
3
4
고양이 귀를 찾는 필터
고양이 눈을 찾는 필터
고양이 코를 찾는 필터
수염을 찾는 필터
이미지에 이런 필터들을 적용했을 때 높은 값이 나오면, 해당 이미지에 고양이의 특징이 있다고 판단할 수 있다.
하지만 이 방식은 한계가 있다.
어떤 특징을 찾아야 하는지 사람이 직접 정의해야 하기 때문이다.
CNN은 이 문제를 다르게 해결한다.
CNN에서는 kernel 안의 숫자, 즉 가중치를 사람이 직접 정하지 않는다. 모델이 학습 과정에서 데이터에 맞게 kernel 값을 스스로 학습한다.
1
2
3
4
5
기존 컴퓨터 비전
→ 사람이 kernel을 직접 설계
CNN
→ 모델이 kernel 값을 학습
이것이 CNN의 핵심이다.
6. Kernel과 뉴런의 공통점
앞에서 신경망의 뉴런은 다음과 같은 계산을 한다고 했다.
1
입력값 × 가중치 + 편향
Kernel도 비슷하다.
이미지의 작은 영역에 kernel 값을 곱하고, 그 결과를 모두 더한다.
1
2
3
픽셀값 × kernel 값
↓
모두 더함
즉, kernel도 결국 입력값에 가중치를 곱해서 더하는 구조다.
CNN은 이 kernel을 뉴런의 입력 구조처럼 사용한다. 다만 Dense Neural Network처럼 모든 픽셀을 한 번에 연결하는 것이 아니라, 이미지의 작은 영역을 기준으로 특징을 찾는다.
그래서 CNN은 이미지의 공간적 구조를 더 잘 활용할 수 있다.
7. Window: kernel이 바라보는 이미지 영역
Convolution을 할 때 kernel이 현재 겹쳐져 있는 이미지의 일부 영역을 window라고 볼 수 있다.
예를 들어 3×3 kernel을 사용한다면, window도 3×3 크기다.
1
2
3
4
5
3×3 kernel
↓
이미지의 3×3 영역과 겹침
↓
이 영역을 window라고 생각할 수 있음
모델은 이 window 안의 픽셀들과 kernel 값을 곱해서 하나의 결과값을 만든다.
그다음 window를 옆으로 이동시키고 같은 계산을 반복한다.
8. Stride: kernel이 이동하는 간격
Stride는 kernel이 한 번에 몇 칸씩 이동할지를 정하는 값이다.
Stride가 1이면 kernel이 한 칸씩 이동한다.
1
2
3
stride = 1
→ 한 칸씩 이동
→ 이미지를 촘촘하게 확인
Stride가 2이면 kernel이 두 칸씩 이동한다.
1
2
3
stride = 2
→ 두 칸씩 이동
→ 이미지를 듬성듬성 확인
Stride를 크게 하면 출력 데이터의 크기가 줄어든다. 즉, 계산해야 할 양이 줄어든다.
하지만 단점도 있다.
너무 크게 이동하면 중요한 정보를 놓칠 수 있다.
1
2
3
4
5
6
7
stride 작음
→ 더 많은 정보 확인
→ 계산량 많음
stride 큼
→ 계산량 적음
→ 중요한 정보 누락 가능
따라서 stride는 계산 효율과 정보 보존 사이의 균형을 고려해서 정해야 한다.
9. Padding: 이미지 가장자리 보존하기
Convolution을 하다 보면 이미지의 가장자리 부분은 계산하기 애매해진다.
예를 들어 3×3 kernel을 이미지의 왼쪽 위 모서리에 올려놓으면, kernel의 일부가 이미지 바깥으로 나가게 된다.
이 문제를 해결하기 위해 사용하는 것이 padding이다.
Padding은 이미지 주변에 여분의 값을 둘러주는 방법이다.
가장 흔한 방식은 zero padding이다.
Zero padding은 이미지 바깥쪽에 0으로 된 테두리를 추가하는 방식이다.
1
원본 이미지 주변에 0 추가
Padding을 사용하는 이유는 크게 두 가지다.
1
2
1. 이미지 가장자리 정보도 convolution에 포함하기 위해
2. convolution 후 출력 이미지 크기를 유지하기 위해
Padding을 사용하지 않으면 convolution을 할수록 이미지 크기가 점점 작아질 수 있다.
하지만 padding을 사용하면 출력 크기를 조절할 수 있고, 가장자리 픽셀도 더 잘 활용할 수 있다.
10. Feature Map: kernel이 만들어낸 특징 이미지
Kernel 하나를 이미지에 적용하면 새로운 이미지 하나가 만들어진다.
이 결과를 feature map이라고 한다.
Feature map은 원본 이미지에서 특정 특징이 얼마나 강하게 나타나는지를 보여주는 결과라고 볼 수 있다.
예를 들어 세로선을 감지하는 kernel을 적용하면, 세로 경계가 있는 부분에서 큰 값이 나올 수 있다.
1
2
3
4
5
원본 이미지
↓
세로선 감지 kernel 적용
↓
세로선이 강조된 feature map 생성
Kernel이 여러 개라면 feature map도 여러 개 만들어진다.
1
2
3
kernel 1 → feature map 1
kernel 2 → feature map 2
kernel 3 → feature map 3
CNN은 이렇게 만들어진 여러 feature map을 쌓아서 다음 층으로 전달한다.
11. Feature Map이 쌓이면 3차원 구조가 된다
여러 개의 feature map을 쌓으면 3차원 구조처럼 된다.
여기서 말하는 3차원은 우리가 눈으로 보는 입체 공간의 3D가 아니다.
여러 장의 특징 이미지가 층처럼 쌓인 구조를 의미한다.
1
2
3
4
feature map 1
feature map 2
feature map 3
...
예를 들어 convolution layer에서 32개의 kernel을 사용하면 32개의 feature map이 생성된다.
이 feature map들은 다음 convolution layer의 입력으로 들어간다.
다음 layer는 이전 layer에서 추출한 특징들을 다시 조합해서 더 복잡한 특징을 찾아낸다.
12. CNN은 층이 깊어질수록 복잡한 특징을 찾는다
CNN의 초기 layer는 보통 단순한 특징을 찾는다.
1
2
3
선
모서리
밝기 변화
중간 layer는 조금 더 복잡한 특징을 찾는다.
1
2
3
4
곡선
교차점
질감
패턴
더 깊은 layer는 객체의 일부나 전체 구조를 인식할 수 있다.
1
2
3
4
5
눈
귀
손가락 형태
얼굴 일부
물체 전체
즉, CNN은 단순한 특징에서 시작해서 점점 복잡한 특징을 만들어간다.
이 구조는 사람이 이미지를 인식하는 방식과도 어느 정도 비슷하다.
13. Edge Detection: 경계 감지
컴퓨터 비전에서 중요한 개념 중 하나는 edge detection, 즉 경계 감지다.
이미지에서 edge는 색이나 밝기가 급격하게 변하는 지점이다.
예를 들어 검은 배경 위에 흰색 선이 있다면, 검정에서 흰색으로 갑자기 바뀌는 부분이 edge다.
특정 kernel은 이런 edge를 감지할 수 있다.
1
2
3
4
5
vertical edge kernel
→ 세로 방향 경계 감지
horizontal edge kernel
→ 가로 방향 경계 감지
이런 edge 정보는 이미지 안의 물체 형태를 파악하는 데 매우 중요하다.
CNN은 학습 과정에서 이런 edge를 감지하는 kernel을 스스로 학습할 수 있다.
14. 3×3 kernel을 많이 사용하는 이유
Kernel의 크기는 꼭 3×3일 필요는 없다. 5×5, 7×7 등 다양한 크기를 사용할 수 있다.
하지만 실제로는 3×3 kernel이 많이 사용된다.
3×3 kernel은 계산량이 비교적 적으면서도 주변 픽셀과의 관계를 파악하기에 충분한 크기이기 때문이다.
또한 3×3 convolution을 여러 번 쌓으면 더 넓은 영역의 정보를 볼 수 있다.
예를 들어 3×3 kernel을 한 번 적용하면 가까운 주변 픽셀만 보지만, 여러 layer를 거치면 더 넓은 범위의 패턴을 학습할 수 있다.
1
2
3×3 convolution 반복
→ 작은 특징부터 점진적으로 복잡한 특징 학습
그래서 많은 CNN 구조에서 3×3 kernel을 기본적으로 사용한다.
15. Flatten: 특징을 분류기로 넘기기
Convolution layer를 거치면 여러 개의 feature map이 만들어진다.
하지만 최종적으로 분류를 하려면 이 결과를 Dense layer에 넣어야 한다.
이때 feature map을 일렬로 펼치는 과정이 필요하다.
이것을 flatten이라고 한다.
1
2
3
4
5
여러 장의 feature map
↓
일렬의 숫자 벡터로 펼침
↓
Dense layer로 전달
즉, CNN은 먼저 convolution layer로 이미지의 특징을 추출하고, 마지막에는 Dense layer를 이용해 분류를 수행한다.
전체 구조는 다음과 같다.
1
2
3
4
5
6
7
8
9
10
11
12
13
입력 이미지
↓
Convolution layer
↓
Convolution layer
↓
Pooling
↓
Flatten
↓
Dense layer
↓
Output
16. Pooling: 이미지 크기 줄이기
CNN에서 자주 사용하는 또 다른 기법이 pooling이다.
Pooling은 feature map의 크기를 줄이는 작업이다.
가장 많이 사용하는 방식은 max pooling이다.
Max pooling은 window 안에서 가장 큰 값만 남기고 나머지는 버린다.
예를 들어 다음과 같은 2×2 영역이 있다고 하자.
1
2
[1 3
2 8]
Max pooling을 적용하면 가장 큰 값인 8만 남긴다.
1
8
Pooling을 사용하면 이미지 크기가 줄어든다.
1
2
3
큰 feature map
↓
작은 feature map
이미지 크기가 줄어들면 계산량도 줄어든다. 따라서 학습이 더 빠르고 효율적이 된다.
또한 작은 위치 변화에 덜 민감해지는 효과도 있다.
예를 들어 이미지 속 물체가 조금 오른쪽으로 이동하더라도, max pooling을 사용하면 중요한 특징은 어느 정도 유지될 수 있다.
17. Dropout: 과적합을 줄이는 방법
CNN에서도 과적합을 줄이는 기법이 필요하다.
그중 하나가 dropout이다.
Dropout은 학습 중에 일부 뉴런을 랜덤하게 꺼버리는 방법이다.
예를 들어 dropout rate를 0.3으로 설정하면, 학습할 때 뉴런의 30%를 랜덤하게 비활성화한다.
1
2
dropout rate = 0.3
→ 학습 중 뉴런 30%를 랜덤하게 끔
이렇게 하면 모델이 특정 뉴런이나 특정 입력에 과도하게 의존하지 않게 된다.
비유하면 팀 프로젝트에서 항상 한 사람만 일하지 못하게 하고, 다른 사람들도 역할을 나눠 갖게 만드는 것과 비슷하다.
1
2
3
4
5
일부 뉴런 비활성화
↓
특정 뉴런에 대한 의존 감소
↓
과적합 완화
하지만 dropout rate를 너무 크게 설정하면 학습이 어려워질 수 있다.
특히 rate를 1로 설정하면 모든 뉴런이 꺼지기 때문에 모델이 아무것도 학습할 수 없다.
18. Batch Normalization
Batch Normalization은 학습 중 각 layer의 입력 분포를 안정적으로 맞춰주는 기법이다.
신경망이 깊어질수록 layer를 지날 때 값의 분포가 계속 변할 수 있다. 이런 변화가 심하면 학습이 불안정해질 수 있다.
Batch Normalization은 각 batch 단위로 값을 정규화해서 학습을 더 안정적으로 만드는 데 도움을 준다.
쉽게 말하면 다음과 같다.
1
2
3
4
5
layer 사이의 값이 너무 튀지 않도록 정리
↓
학습 안정화
↓
성능 개선에 도움
Batch Normalization은 원래 internal covariate shift 문제를 줄이기 위해 제안되었다. 하지만 이후 연구에서는 실제 효과가 꼭 그 이유 때문만은 아닐 수 있다고 알려졌다.
그럼에도 실무적으로는 CNN이나 객체 탐지 모델에서 성능과 학습 안정성에 도움이 되는 경우가 많다.
19. CNN이 이미지 인식에 적합한 이유
Dense Neural Network는 이미지를 일렬로 펼쳐서 처리한다.
이 방식은 이미지 안의 위치 관계를 충분히 활용하기 어렵다.
반면 CNN은 kernel을 이용해 이미지의 작은 영역을 확인하면서 특징을 추출한다.
1
2
3
4
5
6
7
Dense Neural Network
→ 이미지를 일렬로 펼쳐서 처리
→ 공간 정보 활용이 어려움
CNN
→ kernel로 이미지의 부분 영역을 훑음
→ 선, 모서리, 패턴 등 공간 정보 활용 가능
이 때문에 CNN은 이미지 분류, 객체 탐지, 얼굴 인식, 의료 영상 분석 등 다양한 컴퓨터 비전 문제에 널리 사용된다.
20. 전체 흐름 정리
CNN의 전체 학습 흐름은 다음과 같이 정리할 수 있다.
1
2
3
4
5
6
7
8
1. 이미지를 입력으로 받는다.
2. kernel을 이용해 convolution을 수행한다.
3. feature map을 생성한다.
4. 여러 convolution layer를 거치며 점점 복잡한 특징을 추출한다.
5. pooling으로 feature map 크기를 줄인다.
6. dropout 등으로 과적합을 줄인다.
7. flatten을 통해 특징을 일렬로 펼친다.
8. dense layer에서 최종 분류를 수행한다.
결국 CNN은 이미지에서 중요한 특징을 자동으로 찾아내고, 그 특징을 이용해 분류하는 신경망이다.
핵심 용어 정리
| 용어 | 의미 |
|---|---|
| CNN | 이미지 처리에 특화된 합성곱 신경망 |
| Convolution | kernel을 이미지에 적용해 특징을 추출하는 연산 |
| Kernel | 이미지 위를 훑으며 특징을 찾는 작은 행렬 |
| Window | kernel이 현재 바라보는 이미지 영역 |
| Stride | kernel이 이동하는 간격 |
| Padding | 이미지 가장자리에 값을 추가하는 방법 |
| Zero Padding | 이미지 주변을 0으로 채우는 padding 방식 |
| Feature Map | convolution 결과로 만들어진 특징 이미지 |
| Edge Detection | 이미지의 경계나 윤곽을 찾는 작업 |
| Flatten | feature map을 일렬의 벡터로 펼치는 과정 |
| Pooling | feature map 크기를 줄이는 작업 |
| Max Pooling | window 안에서 가장 큰 값만 남기는 pooling 방식 |
| Dropout | 일부 뉴런을 랜덤하게 꺼서 과적합을 줄이는 기법 |
| Batch Normalization | layer 사이의 값 분포를 안정화하는 기법 |
마무리
Dense Neural Network도 이미지 분류를 어느 정도 수행할 수 있다. 하지만 이미지를 일렬의 숫자로만 처리하기 때문에 픽셀 간의 위치 관계나 공간적 구조를 충분히 활용하기 어렵다.
CNN은 kernel을 이용해 이미지의 작은 영역을 훑으며 선, 모서리, 패턴 같은 특징을 추출한다. 그리고 여러 convolution layer를 쌓으면서 단순한 특징에서 복잡한 특징으로 점점 발전시킨다.
이러한 구조 덕분에 CNN은 이미지 인식 문제에서 Dense Neural Network보다 훨씬 더 효과적으로 사용된다.
결국 CNN의 핵심은 다음과 같이 정리할 수 있다.
이미지를 한 번에 통째로 외우는 것이 아니라, 작은 영역을 훑으면서 중요한 특징을 찾아내는 신경망
이미지 분류, 객체 탐지, 의료 영상 분석처럼 시각 정보를 다루는 문제에서 CNN이 널리 사용되는 이유가 바로 여기에 있다.
이 글은 Velog 에 처음 올렸습니다.