Table of Contents
AI 가 핫하다. 더 나가서 NVIDIA 도 핫한데, AI 를 이용하기 위해서는 NVIDIA 드라이버 설치가 필수가 된다. 이 글에서는 Linux 에서 Nvidia Driver 와 Docker 설치에 대한 것이다.
Cuda version
Nvidia 드라이버를 설치하기 전에 체크해야할 사항이 있다. Cuda version 을 어떤걸 쓸건지를 먼저 살펴야 한다. 모든 AI 관련 소프트웨어는 Cuda version 에 종속적이다. 예를들면 현 시점(2025.11) VLLM 의 안정버전은 Cuda version 12.8 에서 동작한다.
위 표는 Cuda 버전과 Nvidia Driver 의 호환표다. 주소는 다음과 같다.
Cuda version 은 CUDA Toolkit 을 설치할때에 결정된다. 따라서 Nvidia Driver 와 CUDA Toolkit 을 맞춰서 설치해야 한다는 결론이다.
GPU 아키텍쳐 호환성
다음으로 체크해야 하는 것이 GPU 아키텍쳐다. 사용해야할 혹은 보유하고 있는 GPU 가 어떤 아키텍쳐인지를 살펴봐야 한다. 각 드라이버들은 지원하는 아키텍쳐가 정해져 있다. 이러한 아키텍쳐는 다음과 같다.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
]$ /usr/local/cuda/bin/nvcc --list-gpu-arch compute_50 compute_52 compute_53 compute_60 compute_61 compute_62 compute_70 compute_72 compute_75 compute_80 compute_86 compute_87 compute_89 compute_90 compute_100 compute_101 compute_120 |
뭔가 알수 없는 목록을 보여주는데, compute_숫자 형태, 이것은 virtual GPU Architecture 를 말하는 것으로 물리적 아키텍쳐는 아니다. 이것은 다음의 표로 확인할 수 있다.
compute_숫자는 위표를 따른다. 이 표에 보면 그래픽 카드목록도 나와 있어서 내가 사용하는 그래픽카드와 맞춰보면 된다. 그런데, 이 표에는 어떤 Nvidia Driver 와 호환이 되는지 나와 있지 않다.
이것은 다음의 표를 보면 알 수 있다.
이 표는 다음에 링크에서 확인할 수 있다.
이 표와 앞선 표를 보면 어떤 것을 설치하는 것이 좋은지를 알 있다. 이제 리눅스에서 Nvidia Driver 를 설치해 보자.
설치환경
설치 환경은 다음과 같다.
- 운영체제: Rocky9 Latest
- 운영체제 설치 방법: minimal
- GPU: RTX 5060TI
여기서 운영체제 설치 방법이 중요하다. 리눅스를 설치과정에서 어떤 용도로 사용할지에 따라서 선택지를 주는데, minimal 를 선택해서 설치를 했다는 뜻이다. 반드시 이것을 따를 필요는 없다. 어짜피 설치하는 동안에 의존성 패키지를 알아서 다운로드 받기 때문에 뭔든 괜찮다.
설치
RedHat 기반에 배포판에는 dkms관련 패키지가 들어 있지 않다. 따라서 epel-release 서드파티 저장소를 설치해고 nvidia 에서 공식적으로 제공하는 cuda 저장소도 함께 설치해 준다.
|
1 2 3 4 |
sudo dnf upgrade --refresh -y sudo reboot sudo dnf install epel-release -y sudo dnf config-manager --add-repo http://developer.download.nvidia.com/compute/cuda/repos/rhel9/$(uname -i)/cuda-rhel9.repo -y |
cuda 저장소는 각각의 드라이버에 맞는 패키지를 제공하는데, Redhat은 같은 패키지라도 버전별 제공되는 패키지를 분류하는 방법으로 module 을 도입했다. 다음의 명령어를 이용하면 nvidia-driver 의 패키지 버전을 확인할 수 있다.
|
1 |
sudo dnf list enable nvidia-driver |
다양한 nvidia-driver 버전들을 볼 수 있는데, 자신에 맞는 것을 선택해서 설치할 수 있다. 먼저 어떤 버전을 선택을 해야 한다. 그 다음에 설치를 진행하면 된다.
|
1 2 3 4 5 |
sudo dnf module enable nvidia-driver:570-dkms sudo dnf module install nvidia-driver -y echo "blacklist nouveau" | sudo tee /etc/modprobe.d/blacklist-nouveau.conf echo 'omit_drivers+=" nouveau "' | sudo tee /etc/dracut.conf.d/blacklist-nouveau.conf sudo reboot |
나의 경우에는 nvidia-driver:570-dkms 를 선택했다. 재부팅을 하고 난후에 nvidia-smi 명령어를 사용해 제대로 인식이 되는 살펴봐야 한다.
위와같이 나와야 정상이다. 그리픽 카드 종류, 드라이버 버전, Cuda 버전이 나온다.
이제 cuda-toolkit 설치해야 한다. Cuda version 이 12.8 이기 때문에 이와 같은 버전을 설치하면 된다.
|
1 2 |
sudo dnf -y install cuda-toolkit-12-8 sudo dnf -y install cudnn9-cuda-12-8 |
여기까지 하면 nvidia 그래픽 카드를 이용한 AI 학습을 위해서 필요한 것은 다 갖춘 셈이다.
Docker 설치(Optional)
Docker 컨테이너 환경에서 Nvidia 그래픽 카드를 이용할 수 있다. 이를 위해서는 Nvidia 에서 제공하는 Nvidia Container Toolkit 을 설치해야 한다. 먼저 Docker 설치부터 진행한다.
|
1 2 3 4 5 6 |
sudo dnf config-manager --add-repo https://download.docker.com/linux/rhel/docker-ce.repo -y sudo dnf install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y sudo usermod -aG docker $USER sudo reboot |
Nvidia Container Toolkit 를 설치한다.
|
1 2 3 4 5 6 7 8 9 10 |
export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.18.0-1 sudo dnf install -y nvidia-container-toolkit-${NVIDIA_CONTAINER_TOOLKIT_VERSION} nvidia-container-toolkit-base-${NVIDIA_CONTAINER_TOOLKIT_VERSION} libnvidia-container-tools-${NVIDIA_CONTAINER_TOOLKIT_VERSION} libnvidia-container1-${NVIDIA_CONTAINER_TOOLKIT_VERSION} sudo dnf install -y nvidia-container-runtime sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl enable --now docker sudo systemctl enable --now containerd sudo reboot |
이제 진짜로 잘 되는지 확인해보자.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
$ sudo docker run --rm --gpus all nvidia/cuda:12.8.1-base-ubuntu22.04 nvidia-smi 12.8.1-base-ubuntu22.04: Pulling from nvidia/cuda 9cb31e2e37ea: Pull complete b95112eaf283: Pull complete 030ef8250936: Pull complete 72ac9ccfda38: Pull complete 73389fbd088f: Pull complete Digest: sha256:001469ea0f3dec85a1ca929aeea3b58ae369d4c11228b10aec1f642bb6ca7a6f Status: Downloaded newer image for nvidia/cuda:12.8.1-base-ubuntu22.04 Sun Nov 2 04:52:57 2025 +-----------------------------------------------------------------------------------------+ | NVIDIA-SMI 570.195.03 Driver Version: 570.195.03 CUDA Version: 12.8 | |-----------------------------------------+------------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+========================+======================| | 0 NVIDIA GeForce RTX 3070 Off | 00000000:07:00.0 Off | N/A | | 0% 41C P8 15W / 270W | 1MiB / 8192MiB | 0% Default | | | | N/A | +-----------------------------------------+------------------------+----------------------+ +-----------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=========================================================================================| | No running processes found | +-----------------------------------------------------------------------------------------+ |
잘 동작한다.