failed to initialize nvml: driver/library version mismatch

Error

 nvidia-smi로 gpu를 확인하고자 하였을 때 다음과 같은 에러가 발생하였다.

Failed to initialize NVML: Driver/library version mismatch

 

 

Cause of the Problem

dmesge

 

리눅스의 unattended-upgrade가 보안 관련 패키지를 자동으로 업데이트하여 버전 간 차이가 발생하는 것이 원인이라고 한다.

 

 

해결방법

1. nvidia module 삭제 후 재시작

⇒ 이걸로 해결이 안되었음...

 

2. CUDA 삭제 후 재설치

CUDA 삭제

cd /usr/local/cuda/
sudo ./bin/cuda-uninstaller

 

그 후에 원래 설치했던 CUDA 설치하면 정상작동

sh /home/*******/Downloads/NVIDIA-Linux-x86_64.525.116.04.run

 

---

unattended-upgrade 방지

unattended-upgrade의 대상 패키지에서 nvidia 관련 패키지 제외

vi /etc/apt/apt.conf.d/50unattended-upgrades

 

하단처럼 수정

Unattended-Upgrade::Package-Blacklist {
  "nvidia-*.";
}