如果想在CUDA上进行计算，需要将操作对象放在GPU内存中。
对于普通的张量，可以直接：

x = torch.randn(2, 3)
x = x.cuda()

对于神经网络：

model = MyModel()
model.cuda()

同一个GPU上的张量计算结果仍然保存在该GPU上。
参考链接

# pytorch
Logo
Triton中文社区

欢迎来到由智源人工智能研究院发起的Triton中文社区，这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂，为推动人工智能技术的普及与深化应用贡献力量。

更多推荐

cover

Redhat8 安装 cuda11.8 + cudnn 8.6 + trt8.5.3 保姆级教程

avatar Triton中文社区

cuda/cudnn安装

一般安装完路径就在/usr/local目录下，更新驱动需要重新启动reboot，只更新cuda不需要重新启动。移动上下到driver上，再enter一下取消driver的更新。更新一下.bashrc，cp -r ~/.bashrcxxx。1.cuda 11.8网址。

avatar Triton中文社区
cover

CUDA版本无误时import tensorflow报错：ImportError: libcudart.so.10.0: cannot open shared object file的解决方案

avatar Triton中文社区