Post

밤사이 자동 업데이트가 GPU를 멈췄다 — NVIDIA Driver/library version mismatch 진단과 재발 방지

밤사이 자동 업데이트가 GPU를 멈췄다 — NVIDIA Driver/library version mismatch 진단과 재발 방지

새벽에 우분투 자동 업데이트가 NVIDIA 드라이버 패키지를 595.84 → 595.99 로 올렸다. 디스크의 라이브러리는 새 버전이 됐지만, 메모리에 올라간 커널 모듈은 한 달 전 부팅 때의 595.84 그대로였다. 둘이 어긋나 nvidia-smi 와 모든 GPU 컨테이너가 실패했다. 드라이버 패키지 23개를 apt-mark hold 로 고정한 뒤 재부팅했고, 105초 만에 595.99 로 맞춰져 복구됐다.

환경

항목값
장비GPU 워크스테이션, RTX 5080 16GB
OSUbuntu 24.04, 커널 6.8.0-136-generic
드라이버Ubuntu 저장소의 nvidia-driver-595-open (NVIDIA 오픈 커널 모듈판)
GPU 작업모델 학습·추론·영상 처리. 전부 Docker 컨테이너에 --gpus all
상시 서비스GPU를 안 쓰는 컨테이너 12개(웹 도구, MLflow, 작업 워커, 역방향 터널, 파일 서버 등). 모두 restart: unless-stopped
마지막 부팅한 달 전. 그동안 재부팅 없음

우분투는 기본으로 apt-daily-upgrade.timer 가 매일 새벽 unattended-upgrades 를 돌린다. 보안 갱신을 자동으로 설치하는 기능이다. 재부팅은 자동으로 하지 않는다.

증상

학습을 돌리기 전에 GPU가 비어 있는지 보려고 nvidia-smi 를 쳤다.

1
2
Failed to initialize NVML: Driver/library version mismatch
NVML library version: 595.99

GPU 컨테이너를 띄우는 시험도 컨테이너가 뜨기 전에 실패했다. 학습뿐 아니라 GPU를 쓰는 모든 작업이 막힌 상태였다.

시각일
06:32unattended-upgrades 가 드라이버를 595.84 → 595.99 로 올림
10:49nvidia-smi 에서 version mismatch 발견
10:58작업 중인 사람·잡이 없는지 확인, 드라이버 패키지 고정
11:00재부팅 예약
11:01부팅 완료, 595.99.02 모듈 적재
11:04학습 시작

06:32부터 10:49까지 약 4시간 동안 아무도 몰랐다. GPU를 안 쓰는 서비스는 멀쩡했고, 그 사이 GPU 작업이 없었기 때문이다. 발견 뒤 복구까지는 12분이었고, 그 대부분은 「지금 재부팅해도 되나」 확인이었다.

진단 과정

#의심한 것확인 방법본 결과판단
1GPU가 바쁜가, 죽었나nvidia-smi --query-gpu=...Driver/library version mismatch, 라이브러리 595.99하드웨어가 아니라 버전 문제
2지금 메모리에 올라간 모듈 버전cat /proc/driver/nvidia/versionNVIDIA UNIX Open Kernel Module ... 595.84메모리 속 모듈은 595.84
3설치된 패키지 버전dpkg -lnvidia-driver-595-open 595.99.02-0ubuntu0.24.04.1디스크 패키지는 595.99
4언제 누가 올렸나/var/log/apt/history.logStart-Date: 2026-10-11 06:32:09오늘 새벽 자동 업데이트
5마지막 부팅uptime -s한 달 전595.84 모듈이 계속 메모리에 있었음
6컨테이너에서도 안 되나docker run --gpus all ... torch.cuda.is_available()컨테이너 시작 실패GPU 작업 전부 불가
7디스크의 새 모듈은 준비됐나modinfo -F version nvidia디스크 595.99.02, 적재 595.84재부팅만 하면 맞춰진다
8재부팅하면 서비스가 돌아오나docker inspect 재시작 정책, systemctl is-enabled docker12개 모두 unless-stopped, docker enabled부팅 뒤 자동 복귀
9고정된 패키지가 있나apt-mark showhold, Package-Blacklist둘 다 비어 있음또 일어날 수 있는 구조

4번에서 본 apt 기록 일부다.

1
2
3
4
5
6
7
Install: nvidia-firmware-595-595.99.02:amd64 (595.99.02-0ubuntu0.24.04.1, automatic)
Upgrade: libnvidia-common-595:amd64 (595.84-0ubuntu0.24.04.1, 595.99.02-0ubuntu0.24.04.1),
         libnvidia-fbc1-595:amd64 (595.84-0ubuntu0.24.04.1, 595.99.02-0ubuntu0.24.04.1),
         ...
Remove: nvidia-firmware-595-595.84:amd64 (595.84-0ubuntu0.24.04.1)
Start-Date: 2026-10-11  06:32:09
Start-Date: 2026-10-11  06:33:00

재부팅 전에 따로 확인한 것

재부팅하면 같은 장비의 웹 도구도 꺼진다. 누가 작업 중이면 저장 안 된 내용이 날아간다. 그래서 세 가지를 봤다.

1
2
3
4
5
지금 10:58:58
디스크 모듈: 595.99.02 · 적재 모듈: 595.84
웹 도구 마지막 저장: 10:47:03
프록시 접근 로그 마지막 요청: 10:47:03 POST .../save 200
돌고 있는 GPU 잡 컨테이너: 0개

마지막 요청 뒤 12분 동안 활동이 없었고, 처리 중인 잡도 없었다. 잃을 작업이 없다고 판단했다.

원인 — 동작 원리

1) NVIDIA 드라이버는 두 부분으로 되어 있다

  • 커널 모듈 (nvidia.ko, nvidia_uvm, nvidia_modeset, nvidia_drm) 커널 안에서 GPU를 직접 다룬다. 부팅 때 메모리에 한 번 올라가면, 디스크 파일이 바뀌어도 내렸다 다시 올리기 전까지 그대로 돈다.
  • 사용자 영역 라이브러리 (libcuda.so, libnvidia-ml.so 등) 프로그램이 실행될 때마다 디스크에서 새로 읽는다. 패키지를 갱신하면 바로 다음 실행부터 새 버전이 쓰인다.

둘은 /dev/nvidia* 장치 파일에 대한 ioctl 호출로 대화한다. ioctl 은 「장치에 특수한 명령을 보내는 시스템 호출」이다. 이 인터페이스는 버전마다 바뀔 수 있어서, NVIDIA는 두 부분의 버전이 정확히 같을 것을 요구한다. 초기화 때 서로 버전을 확인하고, 다르면 거부한다. 그 메시지가 Driver/library version mismatch 다.

2) 왜 「반쪽」이 됐나

apt 는 파일을 바꿀 뿐이다. 이미 메모리에 올라간 커널 모듈을 갈아 끼우지는 않는다.

flowchart TB
  subgraph DISK["디스크 (자동 업데이트 후)"]
    LIB["사용자 영역 라이브러리<br/>libnvidia-ml.so · libcuda.so<br/>595.99.02"]
    KO["커널 모듈 파일 nvidia.ko<br/>595.99.02 (modinfo)"]
  end
  subgraph MEM["메모리 (한 달 전 부팅 때 적재)"]
    LOADED["적재된 커널 모듈<br/>/proc/driver/nvidia/version<br/>595.84"]
  end
  UU["apt-daily-upgrade.timer<br/>→ unattended-upgrades"] -->|"패키지 갱신"| LIB
  UU -->|"패키지 갱신"| KO
  APP["nvidia-smi · PyTorch<br/>docker --gpus all"] -->|"새 라이브러리 로드"| LIB
  LIB -->|"ioctl /dev/nvidia*<br/>버전 확인 ✗ 595.99 ≠ 595.84"| LOADED
  KO -.->|"재부팅해야 적재됨"| LOADED
층업데이트 직후언제 바뀌나
사용자 영역 라이브러리595.99.02즉시 (다음 프로그램 실행부터)
디스크의 커널 모듈 파일595.99.02즉시 (패키지 설치 때)
메모리에 적재된 커널 모듈595.84모듈을 다시 올리거나 재부팅할 때

커널 모듈 파일은 커널 버전마다 따로 빌드해야 한다. 우분투는 미리 빌드한 모듈 패키지나 DKMS(설치할 때 그 커널에 맞춰 직접 빌드하는 방식)로 이 파일을 공급한다. 이번에는 디스크에 새 모듈이 이미 준비돼 있었으므로 재부팅만 하면 맞춰지는 상태였다.

3) 컨테이너는 왜 아예 안 떴나

docker run --gpus all 을 하면 nvidia-container-toolkit 이 컨테이너를 만들기 전에 호스트의 NVML 로 GPU를 조회한다. 그리고 호스트의 드라이버 라이브러리를 컨테이너 안에 넣어 준다.

이미지 안에는 CUDA 「런타임」만 있고, 「드라이버」는 호스트 것을 쓴다. 그래서 호스트가 어긋나면 이미지와 상관없이 모든 GPU 컨테이너가 시작 단계에서 실패한다.

4) 왜 자동 업데이트가 드라이버를 건드렸나

unattended-upgrades 는 기본 설정에서 보안 채널(-security)의 갱신을 자동 설치한다. 우분투는 NVIDIA 드라이버 갱신을 이 채널로도 내보낸다.

자동 재부팅이 꺼져 있으면, 「라이브러리만 새것, 모듈은 옛것」 상태가 사람이 재부팅할 때까지 이어진다. 데스크톱이면 「재부팅 필요」 알림이라도 뜬다. SSH 로만 쓰는 장비에서는 알아채기 어렵다.

해결

재발 방지를 먼저 걸고 재부팅했다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 0) 직전 확인: 디스크/적재 모듈 버전, 돌고 있는 GPU 잡
modinfo -F version nvidia; cat /sys/module/nvidia/version; uname -r
docker ps --format '{{.Names}} {{.Status}}' | grep -E 'job|gpu'   # → 없음

# 1) 재발 방지: 설치된 nvidia·libnvidia 패키지를 전부 고정
P=$(dpkg -l | awk '/^ii/ && $2 ~ /(nvidia|libnvidia)/ {print $2}' | tr '\n' ' ')
sudo apt-mark hold $P
apt-mark showhold | grep -c nvidia
# 23

# 2) 재부팅을 5초 뒤로 예약 (SSH 명령이 정상 종료된 뒤 끊기도록)
sudo systemd-run --on-active=5 --unit=reboot-20261011 /usr/bin/systemctl reboot

# 3) (내 PC에서) 복귀 대기: 15초마다 부팅 시각이 오늘인지 확인
for i in $(seq 1 40); do sleep 15
  ssh -o ConnectTimeout=8 -o BatchMode=yes gpu-ws "uptime -s" \
    | grep -q 2026-10-11 && { echo "up after $((i*15))s"; break; }
done
# up after 105s

재부팅을 왜 예약으로 했나

systemctl reboot 를 바로 치면 SSH 세션이 명령 도중에 끊긴다. 종료 코드도, 「예약됨」 출력도 못 받는다.

systemd-run --on-active=5 는 「5초 뒤 이 명령을 실행하는 임시 유닛」을 만든다. 명령은 깨끗이 끝나고, 재부팅은 접속과 상관없이 진행된다.

왜 이 방법인가 — 대안 비교

대안장점단점판단
드라이버 패키지만 apt-mark hold + 재부팅다른 보안 갱신은 계속 자동. 드라이버는 정한 시점에 「업데이트 + 재부팅」을 한 번에드라이버 보안 패치는 사람이 챙겨야 함선택
자동 업데이트 끄기예기치 않은 변경 없음커널·OpenSSL·sudo 등 모든 보안 패치가 멈춤. 외부와 터널로 이어진 장비라 위험기각
Package-Blacklist 에 nvidia 추가자동 업데이트에서만 빠짐사람이 다른 일로 apt upgrade 하다가 같은 반쪽 상태를 만들 수 있음hold 가 더 확실
재부팅 없이 모듈만 다시 적재 (rmmod → modprobe)장비 전체 재시작을 피함GPU를 잡은 프로세스를 모두 멈춰야 하고, 하나라도 남으면 module is in use. 중단 시간은 비슷한데 실패 지점이 더 많음기각
라이브러리를 595.84로 되돌리기재부팅 없이 즉시 복구받은 보안 갱신을 되돌림. 23개 패키지 버전을 정확히 맞춰야 함기각

검증

무엇을방법결과
부팅 시각uptime -s재부팅 명령 뒤 105초 안에 SSH 응답
새 모듈 적재journalctl -kNVRM: loading NVIDIA UNIX Open Kernel Module for x86_64 595.99.02
드라이버·GPUnvidia-smi --query-gpu=name,driver_version,memory.used,memory.total --format=csv,noheaderNVIDIA GeForce RTX 5080, 595.99.02, 2 MiB, 16303 MiB
컨테이너 GPUdocker run --rm --gpus all <이미지> python -c 'import torch; ...'True NVIDIA GeForce RTX 5080
상시 서비스docker ps12개 모두 Up
MLflowcurl -w '%{http_code}' http://127.0.0.1:5000/health200
열흘 뒤nvidia-smi여전히 595.99.02 (CUDA Version 13.2)

부팅 직후 1분간 난 오류

작업 워커 로그에 부팅 직후 Max retries exceeded 가, 터널 로그에 Network is unreachable 이 찍혔다. Docker 가 컨테이너를 다시 띄운 시점이 유선 랜이 주소를 받기 전이었기 때문이다.

워커와 터널 모두 재시도 루프가 있었다. 망이 올라오자 1분여 만에 사람 손 없이 정상으로 돌아왔다. restart: unless-stopped 만으로는 부족하고, 앱 쪽 재시도가 같이 있어야 한다는 걸 확인했다.

재발 방지

바꾼 설정: NVIDIA 관련 패키지 23개를 apt-mark hold. 자동 업데이트도, 사람의 apt upgrade 도 이 패키지를 건너뛴다. 나머지 보안 갱신은 그대로 자동이다.

운영 절차: 드라이버를 올릴 때는 아래를 한 번에 한다.

1
2
3
4
5
6
7
8
# 1) 작업 중인 사람·잡이 없는지 확인
# 2) 고정 풀기 → 올리기 → 다시 고정 → 재부팅
sudo apt-mark unhold $(apt-mark showhold | grep nvidia)
sudo apt-get update && sudo apt-get install --only-upgrade \
  $(dpkg -l | awk '/^ii/ && $2 ~ /(nvidia|libnvidia)/ {print $2}')
sudo apt-mark hold $(dpkg -l | awk '/^ii/ && $2 ~ /(nvidia|libnvidia)/ {print $2}')
sudo systemd-run --on-active=5 /usr/bin/systemctl reboot
# 3) 위 「검증」 표를 다시 확인

아직 안 한 것

  • nvidia-smi 가 실패하면 상태 화면에 경고 띄우기. 이번엔 4시간 동안 몰랐다.
  • /var/run/reboot-required 가 생기면 알리기.

배운 점

「설치됐다」와 「적재됐다」는 다른 상태다

리눅스 커널 모듈은 메모리에 올라가 있는 동안 디스크 파일과 상관없이 돈다. 패키지 관리자는 파일만 바꾼다. 그래서 드라이버처럼 커널 쪽과 사용자 쪽이 짝을 이뤄야 하는 소프트웨어는, 업데이트 뒤 재부팅 전까지 반쪽 상태가 된다.

개념한 줄 설명
NVIDIA 버전 짝 맞춤라이브러리(NVML·CUDA 드라이버 API)와 커널 모듈이 같은 빌드 버전이어야 한다
DKMS드라이버 소스를 두고 새 커널·새 드라이버가 깔릴 때 모듈을 다시 빌드한다. 파일만 만들고 메모리에 올리지는 않는다
apt-mark hold그 패키지를 업그레이드 대상에서 뺀다. Package-Blacklist 는 자동 업데이트에서만 뺀다
nvidia-container-toolkit컨테이너에 호스트의 /dev/nvidia* 와 드라이버 라이브러리를 넣어 준다. 호스트가 깨지면 모든 GPU 컨테이너가 깨진다
Docker unless-stopped사람이 멈춘 것만 빼고 데몬 시작(= 부팅) 때 다시 띄운다. 망 준비 전에 뜰 수 있으니 앱에 재시도가 필요하다
systemd-run --on-active「N초 뒤 실행」 임시 유닛. 원격 재부팅처럼 연결이 끊기는 명령에 쓴다

직접 해 볼 확인 명령

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# 메모리(적재) vs 디스크 — 둘이 다르면 재부팅 필요
cat /proc/driver/nvidia/version          # 지금 메모리에 올라간 커널 모듈
modinfo -F version nvidia                # 다음 부팅 때 올라갈 모듈 파일
dpkg -l | grep -E '^ii\s+(nvidia-driver|libnvidia-compute)'
lsmod | grep nvidia                      # 적재된 모듈과 사용 수(Used by)

# GPU를 잡고 있는 프로세스 (모듈 재적재가 왜 어려운지 보기)
sudo lsof /dev/nvidia* 2>/dev/null | awk '{print $1, $2}' | sort -u

# 언제 무엇이 자동으로 올라갔나
grep -A4 'Start-Date' /var/log/apt/history.log | tail -20
systemctl list-timers apt-daily-upgrade.timer
cat /var/run/reboot-required.pkgs 2>/dev/null

# 고정 목록과 후보 버전 (hold 면 후보가 있어도 안 올라감)
apt-mark showhold
apt-cache policy nvidia-driver-595-open

# 컨테이너 재시작 정책 한눈에 보기
docker inspect -f '{{.Name}} {{.HostConfig.RestartPolicy.Name}}' $(docker ps -q)

더 찾아볼 키워드

  • NVML, NVIDIA open kernel modules, DKMS, modprobe / rmmod
  • unattended-upgrades (Allowed-Origins, Package-Blacklist, Automatic-Reboot), apt pinning
  • nvidia-container-toolkit, CDI, CUDA forward compatibility
  • Docker restart policy, network-online.target, systemd-run transient unit, needrestart
This post is licensed under CC BY 4.0 by the author.