AI路之ubuntu系统cuda升级

最近想使用一下 llama3,发现 pytorch 版本低不支持,升级 pytorch 版本就需要升级 cuda 版本,升级 cuda 版本需要提前升级 nvidia 驱动版本。

升级 nvidia 驱动版本

卸载驱动

1
2
sudo apt-get purge nvidia-*
sudo apt-get autoremove

https://www.nvidia.com/Download/driverResults.aspx/224022/en-us/
下载驱动并安装

1
sudo sh NVIDIA-Linux-x86_64-550.76.run

升级 cuda 版本

网站上根据不同版本选择不同安装方式,我选择离线安装。

在安装之前需要先卸载之前安装的 cuda 版本,否则会安装失败。

1
sudo /usr/local/cuda-X.Y/bin/cuda-uninstaller

或者

1
sudo /usr/bin/nvidia-uninstall

卸载完成后要重启机器

1
reboot

接下来就是安装了

1
2
wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda_12.4.1_550.54.15_linux.run
sudo sh cuda_12.4.1_550.54.15_linux.run

保持默认选择安装就好,没有报错证明安装没问题。

最后验证

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
$ nvidia-smi

Sat Apr 27 00:56:09 2024
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.54.15 Driver Version: 550.54.15 CUDA Version: 12.4 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 3090 Off | 00000000:01:00.0 Off | N/A |
| 65% 52C P0 N/A / 390W | 0MiB / 24576MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| No running processes found |
+-----------------------------------------------------------------------------------------+

参考

  1. NVIDIA CUDA Installation Guide for Linux