flash_attn_2_cuda undefined symbol ?

可以尝试卸载并重新安装相关的依赖。在这种情况下，你可能需要卸载并重新安装 PyTorch 和 flash_attn，因为错误信息指出的符号。是 PyTorch 的一部分，而且这个符号在 flash_attn 的共享库。

CCSBRIDGE

584人浏览 · 2024-08-29 08:56:21

CCSBRIDGE · 2024-08-29 08:56:21 发布

关键报错截取：

ImportError: /root/miniconda3/lib/python3.10/site-packages/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN3c104cuda9SetDeviceEi

可以尝试卸载并重新安装相关的依赖。在这种情况下，你可能需要卸载并重新安装 PyTorch 和 flash_attn，因为错误信息指出的符号 _ZN3c104cuda9SetDeviceEi 是 PyTorch 的一部分，而且这个符号在 flash_attn 的共享库 flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so 中被引用。

用以下的命令来卸载 PyTorch 和 flash_attn：

pip uninstall torch

pip uninstall flash_attn

然后，重新安装这两个包：

pip install torch

pip install flash_attn

Triton中文社区

欢迎来到由智源人工智能研究院发起的Triton中文社区，这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂，为推动人工智能技术的普及与深化应用贡献力量。

更多推荐

torch.device(‘cuda:0‘ if cuda else ‘cpu‘)

# 这个地方的cuda:0 实际上并不是0号GPU，他取决于CUDA_VISIBLE_DEVICES# 然后逻辑GPU和物理GPU有一个对应关系# 如果CUDA_VISIBLE_DEVICES为2,1,3# 那么CUDA:0就是2号GPU， CUDA:1 就是1号GPU CUDA:3 就是3号GPUreturn torch.device('cuda:0' if cuda else 'cpu')..