GeForce® 驱动程序

控制面板

opencv-python GPU 读取 rtsp

cuda

# 自定义安装

# 安装路径
# CUDA Development
D:\NVIDIA GPU Computing Toolkit\CUDA\v12.0
# CUDA Documentation
D:\NVIDIA GPU Computing Toolkit\CUDA\v12.0
# Samples
D:\NVIDIA Corporation\CUDA\Samples\v12.0

# 添加系统环境变量
CUDA_PATH
D:\NVIDIA GPU Computing Toolkit\CUDA\v12.0

CUDA_PATH_V12_0
D:\NVIDIA GPU Computing Toolkit\CUDA\v12.0

# 添加 path 变量
D:\NVIDIA GPU Computing Toolkit\CUDA\v12.0\bin
D:\NVIDIA GPU Computing Toolkit\CUDA\v12.0\libnvvp
D:\NVIDIA GPU Computing Toolkit\CUDA\v12.0\include

# 验证
nvcc -V
CUDA Toolkit Minimum Required Driver Version for CUDA Minor Version Compatibility*
Linux x86_64 Driver Version Windows x86_64 Driver Version
CUDA 12.x >=525.60.13 >=528.33
CUDA 11.8.x CUDA 11.7.x CUDA 11.6.x CUDA 11.5.x CUDA 11.4.x CUDA 11.3.x CUDA 11.2.x CUDA 11.1.x >=450.80.02 >=452.39
CUDA 11.0 (11.0.3) >=450.36.06** >=451.22**

torch

import torch
print(torch.__version__)
print(torch.cuda.is_available())

cuDNN

# 将文件放入对应文件内

# ...\NVIDIA GPU Computing Toolkit\CUDA\v10.1\extras\demo_suite
# deviceQuery.exe
# bandwidthTest.exe
# 打开 cmd，然后拖入程序

在这里插入图片描述

tensorflow

CUDA - Pytorch - Torchvision - Torchaudio - Python

cuda 和 cudnn 的版本对照直接参照官网上

CUDA Torch Torchvision Torchaudio Python
12.4
12.3
12.2
12.1 2.2.0 0.17.0 2.2.0 >=3.8, <=3.11
12.1 2.1.1 0.16.1 2.1.1 >=3.8, <=3.11
12.1 2.1.2 0.16.2 2.1.2 >=3.8, <=3.11
12.1 2.1.0 0.16.0 2.1.0 >=3.8, <=3.11
11.8 2.2.0 0.17.0 2.2.0 >=3.8, <=3.11
11.8 2.1.2 0.16.2 2.1.2 >=3.8, <=3.11
11.8 2.1.1 0.16.1 2.1.1 >=3.8, <=3.11
11.8 2.1.0 0.16.0 2.1.0 >=3.8, <=3.11
11.8 2.0.1 0.15.2 2.0.2 >=3.8, <=3.11
11.8 2.0.0 0.15.1 2.0.1 >=3.8, <=3.11
11.7 2.0.1 0.15.2 2.0.2 >=3.8, <=3.11
11.7 2.0.0 0.15.1 2.0.1 >=3.8, <=3.11
11.7 1.13.1 0.14.1 0.13.1 >=3.7.2, <=3.10
11.7 1.13.0 0.14.0 0.13.0 >=3.7.2, <=3.10
11.6 1.13.1 0.14.1 0.13.1 >=3.7.2, <=3.10
11.6 1.13.0 0.14.0 0.13.0 >=3.7.2, <=3.10
11.6 1.12.1 0.13.1 0.12.1 >=3.7, <=3.10
11.6 1.12.0 0.13.0 0.12.0 >=3.7, <=3.10
11.3 1.12.1 0.13.1 0.12.1 >=3.7, <=3.10
11.3 1.12.0 0.13.0 0.12.0 >=3.7, <=3.10
11.3 1.11.0 0.12.0 0.11.0 >=3.7, <=3.10
11.1 1.10.1 0.11.2 0.10.1 >=3.6, <=3.9
11.1 1.10.0 0.11.0 0.10.0 >=3.6, <=3.9
11.1 1.9.1 0.10.1 0.9.1 >=3.6, <=3.9
11.1 1.9.0 0.10.0 0.9.0 >=3.6, <=3.9
11.1 1.8.2 0.9.2 0.8.2 >=3.6, <=3.9
11.1 1.8.1 0.9.1 0.8.1 >=3.6, <=3.9
11.1 1.8.0 0.9.0 0.8.0 >=3.6, <=3.9
11.0 1.7.1 0.8.2 0.7.2 >=3.6, <=3.9
11.0 1.7.0 0.8.0 0.7.0 >=3.6, <=3.9
10.2 1.12.1 0.13.1 0.12.1 >=3.7, <=3.10
10.2 1.12.0 0.13.0 0.12.0 >=3.7, <=3.10
10.2 1.11.0 0.12.0 0.11.0 >=3.7, <=3.10
10.2 1.10.1 0.11.2 0.10.1 >=3.6, <=3.9
10.2 1.10.0 0.11.0 0.10.0 >=3.6, <=3.9
10.2 1.9.1 0.10.1 0.9.1 >=3.6, <=3.9
10.2 1.9.0 0.10.0 0.9.0 >=3.6, <=3.9
10.2 1.8.2 0.9.2 0.8.2 >=3.6, <=3.9
10.2 1.8.1 0.9.1 0.8.1 >=3.6, <=3.9
10.2 1.8.0 0.9.0 0.8.0 >=3.6, <=3.9
10.2 1.7.1 0.8.2 0.7.2 >=3.6, <=3.9
10.2 1.7.0 0.8.0 0.7.0 >=3.6, <=3.9
10.2 1.6.0 0.7.0 - >=3.6, <=3.8
10.1 1.8.1 0.9.1 0.8.1 >=3.6, <=3.9
10.1 1.8.0 0.9.0 0.8.0 >=3.6, <=3.9
10.1 1.7.1 0.8.2 0.7.2 >=3.6, <=3.9
10.1 1.7.0 0.8.0 0.7.0 >=3.6, <=3.9
10.1 1.6.0 0.7.0 - >=3.6, <=3.8
9.2 1.7.1 0.8.2 0.7.2 >=3.6, <=3.9
9.2 1.7.0 0.8.0 0.7.0 >=3.6, <=3.9
9.2 1.6.0 0.7.0 - >=3.6, <=3.8

CPU - Pytorch - Torchvision - Torchaudio

CUDA Torch Torchvision Torchaudio
CPU only 2.2.0 0.17.0 2.2.0
CPU only 2.1.2 0.16.2 2.1.2
CPU only 2.1.1 0.16.1 2.1.1
CPU only 2.1.0 0.16.0 2.1.0
CPU only 2.0.1 0.15.2 2.0.2
CPU only 2.0.0 0.15.1 2.0.1
CPU only 1.13.1 0.14.1 0.13.1
CPU only 1.13.0 0.14.0 0.13.0
CPU only 1.12.1 0.13.1 0.12.1
CPU only 1.12.0 0.13.0 0.12.0
CPU only 1.11.0 0.12.0 0.11.0
CPU only 1.10.1 0.11.2 0.10.1
CPU only 1.10.0 0.11.0 0.10.0
CPU only 1.9.1 0.10.1 0.9.1
CPU only 1.9.0 0.10.0 0.9.0
CPU only 1.8.2 0.9.2 0.8.2
CPU only 1.8.1 0.9.1 0.8.1
CPU only 1.8.0 0.9.0 0.8.0
CPU only 1.7.1 0.8.2 0.7.2
CPU only 1.7.0 0.8.0 0.7.0
CPU only 1.6.0 0.7.0 -

CUDA - Tensorflow - cuDNN - Python

CUDA Tensorflow cuDNN python
12.4
12.3 2.16.1 8.9? 3.9-3.12
12.2 2.15.0 8.9 3.9-3.11
11.8 2.14.0 8.7 3.9-3.11
11.8 2.13.0 8.6 3.8-3.11
11.8 2.12.0 8.6 3.8-3.11
11.2 2.11.0 8.1 3.7-3.10
11.2 2.10.0 8.1 3.7-3.10
11.2 2.9.0 8.1 3.7-3.10
11.2 2.8.0 8.1 3.7-3.10
11.2 2.7.0 8.1 3.7-3.9
11.2 2.6.0 8.1 3.6-3.9
11.2 2.5.0 8.1 3.6-3.9
11.0 2.4.0 8.0 3.6-3.8
10.1 2.3.0 7.6 3.5-3.8
10.1 2.2.0 7.6 3.5-3.8
10.1 2.1.0 7.6 2.7, 3.5-3.7
10.0 2.0.0 7.4 2.7, 3.3-3.7
10.0 1.15.0 7.4 2.7, 3.3-3.7

示例程序 torch

import torch
import time

# 返回当前设备索引
print(torch.cuda.current_device())

# 返回GPU的数量
print(torch.cuda.device_count())

# 返回gpu名字，设备索引默认从0开始
print(torch.cuda.get_device_name(0))

# cuda是否可用
print(torch.cuda.is_available())

# pytorch 查看 cuda 版本
# 由于 pytorch 的 whl 安装包名字都一样，所以很难区分到底是基于 cuda 的哪个版本
print(torch.version.cuda)

# 判断 pytorch 是否支持 GPU 加速
print (torch.cuda.is_available())

# 以下代码只有在PyTorch GPU版本上才会执行
print(torch.cuda.is_available())
a = torch.randn(10000, 1000)
b = torch.randn(1000, 2000)
t0 = time.time()
c = torch.matmul(a, b)
t1 = time.time()
print(a.device, t1 - t0, c.norm(2))

device = torch.device('cuda')
a = a.to(device)
b = b.to(device)
t0 = time.time()
c = torch.matmul(a, b)
t1 = time.time()
print(a.device, t1 - t0, c.norm(2))

t0 = time.time()
c = torch.matmul(a, b)
t1 = time.time()
print(a.device, t1 - t0, c.norm(2))

其他

pip 创建虚拟环境

# 创建环境 env-py311
python -m venv env-py311

cd .\env-py311\
cd .\Scripts\

# 激活环境
.\activate

(env-py311) PS C:\Users\xulon\Desktop\env-py311\Scripts>

# 退出环境
deactivate

关于环境激活的问题

PS E:\py_env\Scripts> .\activate
.\activate : 无法加载文件 E:\py_env\Scripts\activate.ps1，因为在此系统上禁止运行脚本。
有关详细信息，请参阅 https:/go.microsoft.com/fwlink/?LinkID=135170 中的 about_E xecution_Policies。
所在位置 行:1 字符: 1
+ .\activate
+ ~~~~~~~~~~
    + CategoryInfo          : SecurityError: (:) []，PSSecurityException
    + FullyQualifiedErrorId : UnauthorizedAccess

# 解决：
PS E:\py_env\Scripts> get-executionpolicy
Restricted
PS E:\py_env\Scripts> Set-ExecutionPolicy -Scope CurrentUser RemoteSigned
Y
PS E:\py_env\Scripts> .\activate
(py_env) PS E:\py_env\Scripts>

更新 pip

# 重新安装Python
python -m ensurepip

# 升级 pip
pip install pip -U
pip install --upgrade pip
python -m pip install --upgrade pip

pip 换源

# 临时换源
# 清华源
pip install markdown -i https://pypi.tuna.tsinghua.edu.cn/simple
# 阿里源
pip install markdown -i https://mirrors.aliyun.com/pypi/simple/
# 腾讯源
pip install markdown -i http://mirrors.cloud.tencent.com/pypi/simple
# 豆瓣源
pip install markdown -i http://pypi.douban.com/simple/

# 永久换源
# 清华源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
# 阿里源
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
# 腾讯源
pip config set global.index-url http://mirrors.cloud.tencent.com/pypi/simple
# 豆瓣源
pip config set global.index-url http://pypi.douban.com/simple/
# 换回默认源
pip config unset global.index-url
# python # pytorch # tensorflow
Logo
Triton中文社区

欢迎来到由智源人工智能研究院发起的Triton中文社区，这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂，为推动人工智能技术的普及与深化应用贡献力量。

更多推荐

cover

早鸟票倒计时｜TVM/Triton/TileLang同台炫技，Meet AI Compiler邀你一同解锁AI编译器的无限可能！

avatar Triton中文社区

triton inference server的backend插件机制代码流程梳理、模型加载代码梳理

triton inference server代码流程梳理、模型加载代码梳理

avatar Triton中文社区

obs-backgroundremoval项目CUDA依赖问题的分析与解决方案

obs-backgroundremoval项目CUDA依赖问题的分析与解决方案obs-backgroundremoval是OBS Studio的一个插件，主要用于在肖像图像和视频中替换背景以及增强低光场景。在将该项目打包为Fedora RPM时，发现了一个关于CUDA依赖的重要技术问题。问题根源分析项目默认构建会捆绑onnxruntime库，这些库在默认构建配置下强制包含了CUDA运行时路径...

avatar Triton中文社区