이미지 분류 모델을 예시로 이해하는 Neural Network 기초
딥러닝을 처음 공부하면 뉴런, 가중치, 손실 함수, 경사하강법, 활성화 함수 같은 단어가 한꺼번에 나와서 어렵게 느껴진다.
하지만 전체 흐름은 생각보다 단순하다.
모델이 예측한다.
얼마나 틀렸는지 계산한다.
틀린 방향을 조금씩 고친다.
이 과정을 반복하면서 점점 정답에 가까워진다.
이번 글에서는 28×28 픽셀 이미지를 분류하는 신경망 예제를 기준으로, 딥러닝 모델이 어떻게 학습하는지 정리해보려고 한다.
1. 이미지는 컴퓨터에게 숫자 배열이다
사람은 이미지를 보면 바로 “이건 숫자 3이네”, “이건 손 모양이네”라고 인식할 수 있다.
하지만 컴퓨터는 이미지를 그대로 이해하지 못한다.
컴퓨터에게 이미지는 결국 픽셀 값들의 배열이다.
예를 들어 28×28 크기의 이미지는 총 784개의 픽셀을 가진다.
1
28 × 28 = 784
따라서 이미지 하나는 컴퓨터에게 다음과 같은 숫자 배열로 표현된다.
1
[0, 0, 255, 120, 30, ...]
각 숫자는 픽셀의 밝기 값을 의미한다. 보통 픽셀 값은 0부터 255 사이의 값을 가진다.
- 0에 가까울수록 어두운 색
- 255에 가까울수록 밝은 색
즉, 이미지 분류 모델의 입력값은 이미지 자체가 아니라 784개의 숫자라고 볼 수 있다.
2. 정규화: 숫자를 0과 1 사이로 맞추기
모델이 학습하기 쉽게 하기 위해 픽셀 값을 그대로 사용하지 않고, 보통 0과 1 사이의 값으로 바꾼다.
방법은 간단하다.
1
픽셀 값 ÷ 255
예를 들면 다음과 같다.
1
2
3
255 → 1
128 → 0.5
0 → 0
이렇게 데이터의 범위를 일정하게 맞추는 과정을 정규화(normalization)라고 한다.
정규화를 하면 모델이 너무 큰 숫자에 영향을 받지 않고 안정적으로 학습할 수 있다.
3. 신경망 모델의 기본 구조
예제에서 사용한 모델은 대략 이런 구조를 가진다.
1
2
3
4
5
6
7
입력층: 784개
↓
은닉층: 512개 뉴런
↓
은닉층: 512개 뉴런
↓
출력층: 10개 뉴런
입력층이 784개인 이유는 이미지가 28×28 픽셀이기 때문이다.
출력층이 10개인 이유는 숫자 0부터 9까지 총 10개의 클래스를 분류하기 때문이다.
예를 들어 모델은 최종적으로 이런 값을 출력할 수 있다.
1
2
3
4
5
6
0일 확률: 1%
1일 확률: 2%
2일 확률: 4%
3일 확률: 88%
4일 확률: 1%
...
이 경우 모델은 해당 이미지를 숫자 3으로 예측한다.
4. 뉴런은 작은 계산기다
신경망에서 말하는 뉴런은 어렵게 들리지만, 단순하게 보면 작은 계산기라고 이해할 수 있다.
기본 구조는 다음과 같다.
1
입력값 × 가중치 + 편향
수식으로 표현하면 익숙한 직선 방정식과 비슷하다.
1
Y = MX + B
여기서 각각의 의미는 다음과 같다.
| 기호 | 의미 |
|---|---|
| X | 입력값 |
| M | 가중치 또는 기울기 |
| B | 편향 |
| Y | 예측값 |
예를 들어 물이 가스레인지 위에 오래 있을수록 온도가 올라간다고 해보자.
1
온도 = 시간 × 기울기 + 기본값
이런 방식으로 입력값을 이용해 결과값을 예측하는 것이 회귀(regression)이다.
신경망도 결국 수많은 입력값에 각각의 가중치를 곱하고, 편향을 더하면서 예측값을 만들어낸다.
5. 가중치란 무엇일까?
가중치는 모델이 학습하면서 조정하는 값이다.
처음에는 가중치가 거의 랜덤하게 설정된다. 그래서 모델은 처음부터 좋은 예측을 하지 못한다.
예를 들어 실제 정답은 숫자 3인데, 모델이 숫자 8이라고 예측할 수 있다.
1
2
실제 정답: 3
모델 예측: 8
그러면 모델은 틀린 것이다.
이때 모델은 스스로 질문해야 한다.
내가 얼마나 틀렸지?
이 틀린 정도를 계산하는 것이 바로 손실 함수(loss function)이다.
6. 손실 함수: 얼마나 틀렸는지 계산하기
손실 함수는 모델의 예측값과 실제 정답이 얼마나 다른지 계산하는 함수다.
예를 들어 실제 값이 10인데 모델이 7이라고 예측했다고 하자.
1
2
오차 = 실제 값 - 예측 값
오차 = 10 - 7 = 3
이 오차를 그대로 사용하면 음수가 나올 수도 있다. 그래서 오차를 제곱해서 양수로 만든다.
1
3² = 9
이런 방식으로 오차를 계산하는 대표적인 방법이 평균제곱오차(MSE, Mean Squared Error)이다.
핵심은 간단하다.
잘 맞추면 손실값이 작아지고, 많이 틀리면 손실값이 커진다.
모델 학습의 목표는 이 손실값을 최대한 작게 만드는 것이다.
7. 경사하강법: 손실이 줄어드는 방향으로 이동하기
모델이 틀렸다면 가중치를 수정해야 한다.
그런데 컴퓨터는 사람처럼 직관적으로 “이쪽으로 고치면 되겠다”라고 판단하지 못한다. 그래서 현재 위치에서 손실값이 가장 많이 줄어드는 방향을 계산한다.
이때 사용하는 방법이 경사하강법(Gradient Descent)이다.
경사하강법은 산에서 공이 굴러 내려가는 모습으로 생각하면 쉽다.
1
2
3
공 = 모델의 현재 상태
산의 높이 = 손실값
목표 = 가장 낮은 지점 찾기
공은 높은 곳에서 낮은 곳으로 굴러간다. 마찬가지로 모델도 손실값이 낮아지는 방향으로 가중치를 조금씩 수정한다.
전체 과정은 다음과 같다.
1
2
3
4
5
6
7
1. 모델이 예측한다.
2. 실제 정답과 비교한다.
3. 손실값을 계산한다.
4. 손실이 줄어드는 방향을 찾는다.
5. 가중치를 조금 수정한다.
6. 다시 예측한다.
7. 이 과정을 반복한다.
이 반복 과정이 바로 모델의 학습이다.
8. 학습률: 한 번에 얼마나 움직일 것인가
경사하강법에서는 손실이 줄어드는 방향을 찾는 것도 중요하지만, 그 방향으로 얼마나 이동할지도 중요하다.
이 값을 학습률(learning rate)이라고 한다.
학습률이 너무 크면 정답 근처까지 갔다가도 지나쳐버릴 수 있다.
1
학습률이 너무 큼 → 목표 지점을 지나칠 수 있음
반대로 학습률이 너무 작으면 학습이 너무 오래 걸린다.
1
학습률이 너무 작음 → 학습 속도가 느림
따라서 적절한 학습률을 설정하는 것이 중요하다.
요즘은 Adam 같은 옵티마이저를 사용해서 학습률 조정을 어느 정도 자동화하기도 한다.
9. 에폭과 배치
딥러닝 학습에서 자주 나오는 단어 중 하나가 에폭(epoch)이다.
에폭은 전체 학습 데이터를 한 번 모두 사용한 것을 의미한다.
예를 들어 학습 이미지가 60,000장 있다고 하자. 이 60,000장을 모델이 한 번 다 봤다면 1 epoch이다.
1
전체 데이터 60,000장 학습 = 1 epoch
하지만 보통 전체 데이터를 한 번에 모두 계산하지는 않는다. 데이터를 작은 묶음으로 나눠서 학습한다.
이 작은 묶음을 배치(batch)라고 한다.
1
2
3
4
5
전체 데이터 60,000장
↓
100장씩 나누기
↓
각 묶음마다 가중치 업데이트
배치를 사용하는 이유는 계산 효율 때문이다. 전체 데이터를 한 번에 계산하는 것보다 작은 단위로 나누어 학습하는 것이 더 효율적이다.
10. 활성화 함수가 필요한 이유
뉴런이 단순히 입력값 × 가중치 + 편향만 계산한다면, 모델은 선형적인 관계밖에 표현하지 못한다.
하지만 현실의 데이터는 대부분 단순한 직선 관계가 아니다.
예를 들어 이미지, 음성, 사람의 행동, 질병 패턴 등은 매우 복잡한 형태를 가진다.
그래서 신경망은 중간에 활성화 함수(activation function)를 사용한다.
활성화 함수는 신경망이 복잡한 패턴을 학습할 수 있도록 비선형성을 추가하는 역할을 한다.
대표적인 활성화 함수는 다음과 같다.
- ReLU
- Sigmoid
- Softmax
11. ReLU
ReLU는 가장 많이 사용되는 활성화 함수 중 하나다.
동작 방식은 매우 단순하다.
1
2
음수면 0으로 바꾸고,
양수면 그대로 둔다.
예를 들면 다음과 같다.
1
2
-3 → 0
5 → 5
수식으로는 다음처럼 표현할 수 있다.
1
ReLU(x) = max(0, x)
ReLU를 사용하면 모델이 단순한 직선 이상의 복잡한 패턴을 학습할 수 있다.
12. Sigmoid
Sigmoid 함수는 값을 0과 1 사이로 바꿔준다.
그래서 확률처럼 해석하기 좋다.
예를 들어 출력값이 0.87이라면 다음처럼 볼 수 있다.
1
0.87 = 87% 확률
Sigmoid는 특히 이진 분류 문제에서 자주 사용된다.
예를 들어 어떤 점이 파란색인지 빨간색인지 분류하는 문제에서 사용할 수 있다.
13. Softmax
Softmax는 여러 개의 출력값을 확률처럼 바꿔준다.
특히 다중 분류 문제에서 많이 사용된다.
숫자 0부터 9까지 분류하는 문제를 생각해보자.
모델의 출력이 다음과 같다면:
1
2
3
4
5
6
0: 1%
1: 2%
2: 4%
3: 88%
4: 1%
...
Softmax는 전체 확률의 합이 100%가 되도록 값을 조정한다.
1
전체 클래스 확률 합 = 100%
그래서 숫자 이미지 분류처럼 여러 클래스 중 하나를 고르는 문제에 적합하다.
14. 분류 문제에서는 어떤 손실 함수를 쓸까?
회귀 문제에서는 평균제곱오차를 사용할 수 있다.
하지만 이미지 분류처럼 여러 클래스 중 하나를 맞추는 문제에서는 보통 교차 엔트로피(Cross Entropy)를 사용한다.
교차 엔트로피는 모델이 정답에 대해 얼마나 확신했는지를 기준으로 손실을 계산한다.
예를 들어 어떤 이미지가 실제로 숫자 3이라고 하자.
모델이 이렇게 예측했다면 좋은 예측이다.
1
숫자 3일 확률: 95%
반대로 이렇게 예측했다면 나쁜 예측이다.
1
숫자 3일 확률: 1%
교차 엔트로피는 특히 모델이 틀린 답을 매우 확신했을 때 큰 벌점을 준다.
즉, 단순히 틀렸는지만 보는 것이 아니라 얼마나 자신 있게 틀렸는지도 반영한다.
15. 과적합: 학습 데이터를 외워버린 상태
모델을 너무 크게 만들면 문제가 생길 수 있다.
계산량이 많아지고 학습 시간이 길어지는 것도 문제지만, 더 중요한 문제는 과적합(overfitting)이다.
과적합은 모델이 학습 데이터를 너무 잘 외워버린 상태다.
학생으로 비유하면 다음과 같다.
1
2
기출문제는 100점
새로운 문제는 못 풂
모델도 마찬가지다.
1
2
학습 데이터에서는 정확도가 높음
새로운 데이터에서는 정확도가 낮음
이 경우 모델은 실제로 패턴을 이해한 것이 아니라 학습 데이터를 외운 것이다.
그래서 딥러닝에서는 데이터를 보통 다음과 같이 나눈다.
1
2
3
학습 데이터
검증 데이터
테스트 데이터
학습 데이터로 모델을 학습시키고, 검증 데이터와 테스트 데이터로 새로운 데이터에서도 잘 작동하는지 확인한다.
16. 전체 학습 흐름 정리
딥러닝 모델의 학습 과정은 다음과 같이 정리할 수 있다.
1
2
3
4
5
6
7
8
9
1. 이미지를 숫자 배열로 바꾼다.
2. 픽셀 값을 0과 1 사이로 정규화한다.
3. 신경망에 입력한다.
4. 모델이 예측값을 출력한다.
5. 실제 정답과 비교한다.
6. 손실 함수를 이용해 오차를 계산한다.
7. 경사하강법으로 가중치를 수정한다.
8. 이 과정을 여러 번 반복한다.
9. 모델은 점점 더 정확한 예측을 하게 된다.
결국 딥러닝 학습은 다음 한 줄로 요약할 수 있다.
예측 → 오차 계산 → 가중치 수정 → 반복
17. 핵심 용어 정리
| 용어 | 의미 |
|---|---|
| 뉴런 | 입력값을 받아 계산하는 작은 단위 |
| 가중치 | 모델이 학습하면서 조정하는 값 |
| 편향 | 입력값과 별개로 더해지는 상수 |
| 손실 함수 | 모델이 얼마나 틀렸는지 계산하는 함수 |
| 경사하강법 | 손실이 줄어드는 방향으로 가중치를 수정하는 방법 |
| 학습률 | 한 번에 가중치를 얼마나 수정할지 정하는 값 |
| 에폭 | 전체 데이터를 한 번 학습한 것 |
| 배치 | 데이터를 나누어 학습하는 작은 묶음 |
| 활성화 함수 | 모델이 복잡한 패턴을 배울 수 있게 하는 함수 |
| ReLU | 음수는 0, 양수는 그대로 두는 활성화 함수 |
| Sigmoid | 값을 0과 1 사이로 바꾸는 함수 |
| Softmax | 여러 클래스의 확률 합이 100%가 되게 하는 함수 |
| 과적합 | 학습 데이터만 외우고 새 데이터에는 약한 상태 |
마무리
딥러닝 신경망은 처음부터 똑똑한 모델이 아니다.
처음에는 랜덤한 가중치로 엉뚱한 예측을 한다. 하지만 예측이 얼마나 틀렸는지 계산하고, 그 오차가 줄어드는 방향으로 가중치를 조금씩 수정한다.
이 과정을 반복하면서 모델은 점점 더 나은 예측을 하게 된다.
즉, 신경망 학습의 핵심은 다음과 같다.
많이 예측해보고, 많이 틀려보고, 틀린 만큼 조금씩 고쳐가는 과정
이 글은 Velog 에 처음 올렸습니다.