一:cuda和cudnn的安装

借鉴网址一:https://blog.csdn.net/qq_43202953/article/details/107951031
借鉴网址二:https://blog.csdn.net/qq_32408773/article/details/84112166

二:TensorRT的安装

  1. 下载TensorRT的压缩包 TensorRT-6.xxx.tar.gz 包。
    TensorRT下载地址:https://developer.nvidia.com/nvidia-tensorrt-download
  2. 解压缩包
tar xzvf TensorRT-6.××××.tar
  1. 添加环境变量
    需要注意的是TensorRT的版本需要和cuda以及cudnn一致,添加TensorRT环境变量
sudo gedit ~/.bashrc
export LD_LIBRARY_PATH=/home/wsy/TensorRT-5.0.2.6/lib:$LD_LIBRARY_PATH 
export CUDA_INSTALL_DIR=/usr/local/cuda-9.0 
export CUDNN_INSTALL_DIR=/usr/local/cuda-9.0
source ~/.bashrc

然后进入解压目录,安装TensorRT,此处我是进入我的conda虚拟环境之后进行的操作:

#先进入conda虚拟环境
conda activate env_name
#install TensorRT
cd $HOME/tensorrt-5.0.2.6/python
# 用pip3安装的是python3环境的,用pip安装的是python2环境的。
pip3 install tensorrt-5.0.2.6-py2.py3-none-any.whl
#install UFF
cd ../uff
pip3 install uff-0.5.5-py2.py3-none-any.whl
#install graphsurgeon
cd ../graphsurgeon
pip3 install graphsurgeon-0.3.2-py2.py3-none-any.whl

试TensorRT是否安装成功,进入Python编辑器导入tensorrt和uff模块:

复制tensorrt库:
安装好之后记得在Tensorrt的源文件夹下将相关头文件复制到系统目录,如果不复制这些头文件,当然在python环境测试import tensorrt时也可以成功,但是在一些cmake文件配置TensorRT时,会出现找不到的情况。(重点,需谨记)

# 将相关头文件复制到系统目录
cp -r lib/* /usr/lib
cp -r include/* /usr/include

安装之后的测试,进入python环境测试:

import tensorrt
import uff
print(tensorrt.__version__)
print(uff.__version__)

此处print(uff.__version__)可能会报错是因为没有安装TensorFlow的原因,可不用管。至此TensorRT安装完成。

Logo

欢迎来到由智源人工智能研究院发起的Triton中文社区,这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂,为推动人工智能技术的普及与深化应用贡献力量。

更多推荐