밤사이 자동 업데이트가 GPU를 멈췄다 — NVIDIA Driver/library version mismatch 진단과 재발 방지
새벽에 우분투 자동 업데이트가 NVIDIA 드라이버 패키지를 595.84 → 595.99 로 올렸다. 디스크의 라이브러리는 새 버전이 됐지만, 메모리에 올라간 커널 모듈은 한 달 전 부팅 때의 595.84 그대로였다. 둘이 어긋나
nvidia-smi와 모든 GPU 컨테이너가 실패했다. 드라이버 패키지 23개를apt-mark hold로 고정한 뒤 재부팅했고, 105초 만에 595.99 로 맞춰져 복구됐다.
환경
| 항목 | 값 |
|---|---|
| 장비 | GPU 워크스테이션, RTX 5080 16GB |
| OS | Ubuntu 24.04, 커널 6.8.0-136-generic |
| 드라이버 | Ubuntu 저장소의 nvidia-driver-595-open (NVIDIA 오픈 커널 모듈판) |
| GPU 작업 | 모델 학습·추론·영상 처리. 전부 Docker 컨테이너에 --gpus all |
| 상시 서비스 | GPU를 안 쓰는 컨테이너 12개(웹 도구, MLflow, 작업 워커, 역방향 터널, 파일 서버 등). 모두 restart: unless-stopped |
| 마지막 부팅 | 한 달 전. 그동안 재부팅 없음 |
우분투는 기본으로 apt-daily-upgrade.timer 가 매일 새벽 unattended-upgrades 를 돌린다. 보안 갱신을 자동으로 설치하는 기능이다. 재부팅은 자동으로 하지 않는다.
증상
학습을 돌리기 전에 GPU가 비어 있는지 보려고 nvidia-smi 를 쳤다.
1
2
Failed to initialize NVML: Driver/library version mismatch
NVML library version: 595.99
GPU 컨테이너를 띄우는 시험도 컨테이너가 뜨기 전에 실패했다. 학습뿐 아니라 GPU를 쓰는 모든 작업이 막힌 상태였다.
| 시각 | 일 |
|---|---|
| 06:32 | unattended-upgrades 가 드라이버를 595.84 → 595.99 로 올림 |
| 10:49 | nvidia-smi 에서 version mismatch 발견 |
| 10:58 | 작업 중인 사람·잡이 없는지 확인, 드라이버 패키지 고정 |
| 11:00 | 재부팅 예약 |
| 11:01 | 부팅 완료, 595.99.02 모듈 적재 |
| 11:04 | 학습 시작 |
06:32부터 10:49까지 약 4시간 동안 아무도 몰랐다. GPU를 안 쓰는 서비스는 멀쩡했고, 그 사이 GPU 작업이 없었기 때문이다. 발견 뒤 복구까지는 12분이었고, 그 대부분은 「지금 재부팅해도 되나」 확인이었다.
진단 과정
| # | 의심한 것 | 확인 방법 | 본 결과 | 판단 |
|---|---|---|---|---|
| 1 | GPU가 바쁜가, 죽었나 | nvidia-smi --query-gpu=... | Driver/library version mismatch, 라이브러리 595.99 | 하드웨어가 아니라 버전 문제 |
| 2 | 지금 메모리에 올라간 모듈 버전 | cat /proc/driver/nvidia/version | NVIDIA UNIX Open Kernel Module ... 595.84 | 메모리 속 모듈은 595.84 |
| 3 | 설치된 패키지 버전 | dpkg -l | nvidia-driver-595-open 595.99.02-0ubuntu0.24.04.1 | 디스크 패키지는 595.99 |
| 4 | 언제 누가 올렸나 | /var/log/apt/history.log | Start-Date: 2026-10-11 06:32:09 | 오늘 새벽 자동 업데이트 |
| 5 | 마지막 부팅 | uptime -s | 한 달 전 | 595.84 모듈이 계속 메모리에 있었음 |
| 6 | 컨테이너에서도 안 되나 | docker run --gpus all ... torch.cuda.is_available() | 컨테이너 시작 실패 | GPU 작업 전부 불가 |
| 7 | 디스크의 새 모듈은 준비됐나 | modinfo -F version nvidia | 디스크 595.99.02, 적재 595.84 | 재부팅만 하면 맞춰진다 |
| 8 | 재부팅하면 서비스가 돌아오나 | docker inspect 재시작 정책, systemctl is-enabled docker | 12개 모두 unless-stopped, docker enabled | 부팅 뒤 자동 복귀 |
| 9 | 고정된 패키지가 있나 | apt-mark showhold, Package-Blacklist | 둘 다 비어 있음 | 또 일어날 수 있는 구조 |
4번에서 본 apt 기록 일부다.
1
2
3
4
5
6
7
Install: nvidia-firmware-595-595.99.02:amd64 (595.99.02-0ubuntu0.24.04.1, automatic)
Upgrade: libnvidia-common-595:amd64 (595.84-0ubuntu0.24.04.1, 595.99.02-0ubuntu0.24.04.1),
libnvidia-fbc1-595:amd64 (595.84-0ubuntu0.24.04.1, 595.99.02-0ubuntu0.24.04.1),
...
Remove: nvidia-firmware-595-595.84:amd64 (595.84-0ubuntu0.24.04.1)
Start-Date: 2026-10-11 06:32:09
Start-Date: 2026-10-11 06:33:00
재부팅 전에 따로 확인한 것
재부팅하면 같은 장비의 웹 도구도 꺼진다. 누가 작업 중이면 저장 안 된 내용이 날아간다. 그래서 세 가지를 봤다.
1
2
3
4
5
지금 10:58:58
디스크 모듈: 595.99.02 · 적재 모듈: 595.84
웹 도구 마지막 저장: 10:47:03
프록시 접근 로그 마지막 요청: 10:47:03 POST .../save 200
돌고 있는 GPU 잡 컨테이너: 0개
마지막 요청 뒤 12분 동안 활동이 없었고, 처리 중인 잡도 없었다. 잃을 작업이 없다고 판단했다.
원인 — 동작 원리
1) NVIDIA 드라이버는 두 부분으로 되어 있다
- 커널 모듈 (
nvidia.ko,nvidia_uvm,nvidia_modeset,nvidia_drm) 커널 안에서 GPU를 직접 다룬다. 부팅 때 메모리에 한 번 올라가면, 디스크 파일이 바뀌어도 내렸다 다시 올리기 전까지 그대로 돈다. - 사용자 영역 라이브러리 (
libcuda.so,libnvidia-ml.so등) 프로그램이 실행될 때마다 디스크에서 새로 읽는다. 패키지를 갱신하면 바로 다음 실행부터 새 버전이 쓰인다.
둘은 /dev/nvidia* 장치 파일에 대한 ioctl 호출로 대화한다. ioctl 은 「장치에 특수한 명령을 보내는 시스템 호출」이다. 이 인터페이스는 버전마다 바뀔 수 있어서, NVIDIA는 두 부분의 버전이 정확히 같을 것을 요구한다. 초기화 때 서로 버전을 확인하고, 다르면 거부한다. 그 메시지가 Driver/library version mismatch 다.
2) 왜 「반쪽」이 됐나
apt 는 파일을 바꿀 뿐이다. 이미 메모리에 올라간 커널 모듈을 갈아 끼우지는 않는다.
flowchart TB
subgraph DISK["디스크 (자동 업데이트 후)"]
LIB["사용자 영역 라이브러리<br/>libnvidia-ml.so · libcuda.so<br/>595.99.02"]
KO["커널 모듈 파일 nvidia.ko<br/>595.99.02 (modinfo)"]
end
subgraph MEM["메모리 (한 달 전 부팅 때 적재)"]
LOADED["적재된 커널 모듈<br/>/proc/driver/nvidia/version<br/>595.84"]
end
UU["apt-daily-upgrade.timer<br/>→ unattended-upgrades"] -->|"패키지 갱신"| LIB
UU -->|"패키지 갱신"| KO
APP["nvidia-smi · PyTorch<br/>docker --gpus all"] -->|"새 라이브러리 로드"| LIB
LIB -->|"ioctl /dev/nvidia*<br/>버전 확인 ✗ 595.99 ≠ 595.84"| LOADED
KO -.->|"재부팅해야 적재됨"| LOADED
| 층 | 업데이트 직후 | 언제 바뀌나 |
|---|---|---|
| 사용자 영역 라이브러리 | 595.99.02 | 즉시 (다음 프로그램 실행부터) |
| 디스크의 커널 모듈 파일 | 595.99.02 | 즉시 (패키지 설치 때) |
| 메모리에 적재된 커널 모듈 | 595.84 | 모듈을 다시 올리거나 재부팅할 때 |
커널 모듈 파일은 커널 버전마다 따로 빌드해야 한다. 우분투는 미리 빌드한 모듈 패키지나 DKMS(설치할 때 그 커널에 맞춰 직접 빌드하는 방식)로 이 파일을 공급한다. 이번에는 디스크에 새 모듈이 이미 준비돼 있었으므로 재부팅만 하면 맞춰지는 상태였다.
3) 컨테이너는 왜 아예 안 떴나
docker run --gpus all 을 하면 nvidia-container-toolkit 이 컨테이너를 만들기 전에 호스트의 NVML 로 GPU를 조회한다. 그리고 호스트의 드라이버 라이브러리를 컨테이너 안에 넣어 준다.
이미지 안에는 CUDA 「런타임」만 있고, 「드라이버」는 호스트 것을 쓴다. 그래서 호스트가 어긋나면 이미지와 상관없이 모든 GPU 컨테이너가 시작 단계에서 실패한다.
4) 왜 자동 업데이트가 드라이버를 건드렸나
unattended-upgrades 는 기본 설정에서 보안 채널(-security)의 갱신을 자동 설치한다. 우분투는 NVIDIA 드라이버 갱신을 이 채널로도 내보낸다.
자동 재부팅이 꺼져 있으면, 「라이브러리만 새것, 모듈은 옛것」 상태가 사람이 재부팅할 때까지 이어진다. 데스크톱이면 「재부팅 필요」 알림이라도 뜬다. SSH 로만 쓰는 장비에서는 알아채기 어렵다.
해결
재발 방지를 먼저 걸고 재부팅했다.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 0) 직전 확인: 디스크/적재 모듈 버전, 돌고 있는 GPU 잡
modinfo -F version nvidia; cat /sys/module/nvidia/version; uname -r
docker ps --format '{{.Names}} {{.Status}}' | grep -E 'job|gpu' # → 없음
# 1) 재발 방지: 설치된 nvidia·libnvidia 패키지를 전부 고정
P=$(dpkg -l | awk '/^ii/ && $2 ~ /(nvidia|libnvidia)/ {print $2}' | tr '\n' ' ')
sudo apt-mark hold $P
apt-mark showhold | grep -c nvidia
# 23
# 2) 재부팅을 5초 뒤로 예약 (SSH 명령이 정상 종료된 뒤 끊기도록)
sudo systemd-run --on-active=5 --unit=reboot-20261011 /usr/bin/systemctl reboot
# 3) (내 PC에서) 복귀 대기: 15초마다 부팅 시각이 오늘인지 확인
for i in $(seq 1 40); do sleep 15
ssh -o ConnectTimeout=8 -o BatchMode=yes gpu-ws "uptime -s" \
| grep -q 2026-10-11 && { echo "up after $((i*15))s"; break; }
done
# up after 105s
재부팅을 왜 예약으로 했나
systemctl reboot 를 바로 치면 SSH 세션이 명령 도중에 끊긴다. 종료 코드도, 「예약됨」 출력도 못 받는다.
systemd-run --on-active=5 는 「5초 뒤 이 명령을 실행하는 임시 유닛」을 만든다. 명령은 깨끗이 끝나고, 재부팅은 접속과 상관없이 진행된다.
왜 이 방법인가 — 대안 비교
| 대안 | 장점 | 단점 | 판단 |
|---|---|---|---|
드라이버 패키지만 apt-mark hold + 재부팅 | 다른 보안 갱신은 계속 자동. 드라이버는 정한 시점에 「업데이트 + 재부팅」을 한 번에 | 드라이버 보안 패치는 사람이 챙겨야 함 | 선택 |
| 자동 업데이트 끄기 | 예기치 않은 변경 없음 | 커널·OpenSSL·sudo 등 모든 보안 패치가 멈춤. 외부와 터널로 이어진 장비라 위험 | 기각 |
Package-Blacklist 에 nvidia 추가 | 자동 업데이트에서만 빠짐 | 사람이 다른 일로 apt upgrade 하다가 같은 반쪽 상태를 만들 수 있음 | hold 가 더 확실 |
재부팅 없이 모듈만 다시 적재 (rmmod → modprobe) | 장비 전체 재시작을 피함 | GPU를 잡은 프로세스를 모두 멈춰야 하고, 하나라도 남으면 module is in use. 중단 시간은 비슷한데 실패 지점이 더 많음 | 기각 |
| 라이브러리를 595.84로 되돌리기 | 재부팅 없이 즉시 복구 | 받은 보안 갱신을 되돌림. 23개 패키지 버전을 정확히 맞춰야 함 | 기각 |
검증
| 무엇을 | 방법 | 결과 |
|---|---|---|
| 부팅 시각 | uptime -s | 재부팅 명령 뒤 105초 안에 SSH 응답 |
| 새 모듈 적재 | journalctl -k | NVRM: loading NVIDIA UNIX Open Kernel Module for x86_64 595.99.02 |
| 드라이버·GPU | nvidia-smi --query-gpu=name,driver_version,memory.used,memory.total --format=csv,noheader | NVIDIA GeForce RTX 5080, 595.99.02, 2 MiB, 16303 MiB |
| 컨테이너 GPU | docker run --rm --gpus all <이미지> python -c 'import torch; ...' | True NVIDIA GeForce RTX 5080 |
| 상시 서비스 | docker ps | 12개 모두 Up |
| MLflow | curl -w '%{http_code}' http://127.0.0.1:5000/health | 200 |
| 열흘 뒤 | nvidia-smi | 여전히 595.99.02 (CUDA Version 13.2) |
부팅 직후 1분간 난 오류
작업 워커 로그에 부팅 직후 Max retries exceeded 가, 터널 로그에 Network is unreachable 이 찍혔다. Docker 가 컨테이너를 다시 띄운 시점이 유선 랜이 주소를 받기 전이었기 때문이다.
워커와 터널 모두 재시도 루프가 있었다. 망이 올라오자 1분여 만에 사람 손 없이 정상으로 돌아왔다. restart: unless-stopped 만으로는 부족하고, 앱 쪽 재시도가 같이 있어야 한다는 걸 확인했다.
재발 방지
바꾼 설정: NVIDIA 관련 패키지 23개를 apt-mark hold. 자동 업데이트도, 사람의 apt upgrade 도 이 패키지를 건너뛴다. 나머지 보안 갱신은 그대로 자동이다.
운영 절차: 드라이버를 올릴 때는 아래를 한 번에 한다.
1
2
3
4
5
6
7
8
# 1) 작업 중인 사람·잡이 없는지 확인
# 2) 고정 풀기 → 올리기 → 다시 고정 → 재부팅
sudo apt-mark unhold $(apt-mark showhold | grep nvidia)
sudo apt-get update && sudo apt-get install --only-upgrade \
$(dpkg -l | awk '/^ii/ && $2 ~ /(nvidia|libnvidia)/ {print $2}')
sudo apt-mark hold $(dpkg -l | awk '/^ii/ && $2 ~ /(nvidia|libnvidia)/ {print $2}')
sudo systemd-run --on-active=5 /usr/bin/systemctl reboot
# 3) 위 「검증」 표를 다시 확인
아직 안 한 것
nvidia-smi가 실패하면 상태 화면에 경고 띄우기. 이번엔 4시간 동안 몰랐다./var/run/reboot-required가 생기면 알리기.
배운 점
「설치됐다」와 「적재됐다」는 다른 상태다
리눅스 커널 모듈은 메모리에 올라가 있는 동안 디스크 파일과 상관없이 돈다. 패키지 관리자는 파일만 바꾼다. 그래서 드라이버처럼 커널 쪽과 사용자 쪽이 짝을 이뤄야 하는 소프트웨어는, 업데이트 뒤 재부팅 전까지 반쪽 상태가 된다.
| 개념 | 한 줄 설명 |
|---|---|
| NVIDIA 버전 짝 맞춤 | 라이브러리(NVML·CUDA 드라이버 API)와 커널 모듈이 같은 빌드 버전이어야 한다 |
| DKMS | 드라이버 소스를 두고 새 커널·새 드라이버가 깔릴 때 모듈을 다시 빌드한다. 파일만 만들고 메모리에 올리지는 않는다 |
apt-mark hold | 그 패키지를 업그레이드 대상에서 뺀다. Package-Blacklist 는 자동 업데이트에서만 뺀다 |
| nvidia-container-toolkit | 컨테이너에 호스트의 /dev/nvidia* 와 드라이버 라이브러리를 넣어 준다. 호스트가 깨지면 모든 GPU 컨테이너가 깨진다 |
Docker unless-stopped | 사람이 멈춘 것만 빼고 데몬 시작(= 부팅) 때 다시 띄운다. 망 준비 전에 뜰 수 있으니 앱에 재시도가 필요하다 |
systemd-run --on-active | 「N초 뒤 실행」 임시 유닛. 원격 재부팅처럼 연결이 끊기는 명령에 쓴다 |
직접 해 볼 확인 명령
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# 메모리(적재) vs 디스크 — 둘이 다르면 재부팅 필요
cat /proc/driver/nvidia/version # 지금 메모리에 올라간 커널 모듈
modinfo -F version nvidia # 다음 부팅 때 올라갈 모듈 파일
dpkg -l | grep -E '^ii\s+(nvidia-driver|libnvidia-compute)'
lsmod | grep nvidia # 적재된 모듈과 사용 수(Used by)
# GPU를 잡고 있는 프로세스 (모듈 재적재가 왜 어려운지 보기)
sudo lsof /dev/nvidia* 2>/dev/null | awk '{print $1, $2}' | sort -u
# 언제 무엇이 자동으로 올라갔나
grep -A4 'Start-Date' /var/log/apt/history.log | tail -20
systemctl list-timers apt-daily-upgrade.timer
cat /var/run/reboot-required.pkgs 2>/dev/null
# 고정 목록과 후보 버전 (hold 면 후보가 있어도 안 올라감)
apt-mark showhold
apt-cache policy nvidia-driver-595-open
# 컨테이너 재시작 정책 한눈에 보기
docker inspect -f '{{.Name}} {{.HostConfig.RestartPolicy.Name}}' $(docker ps -q)
더 찾아볼 키워드
- NVML, NVIDIA open kernel modules, DKMS,
modprobe/rmmod - unattended-upgrades (
Allowed-Origins,Package-Blacklist,Automatic-Reboot), apt pinning - nvidia-container-toolkit, CDI, CUDA forward compatibility
- Docker restart policy,
network-online.target,systemd-runtransient unit,needrestart