LLM研究之-NVIDIA的CUDA

CUDA（Compute Unified Device Architecture）是由NVIDIA公司开发的一个并行计算平台和应用程序编程接口（API），它允许软件开发者和软件工程师使用NVIDIA的图形处理单元（GPU）来进行通用计算。简而言之，CUDA让开发者能够利用NVIDIA的GPU进行高效能的计算工作，这通常被称为GPGPU（通用计算图形处理单元）。

小涂Ss

874人浏览 · 2024-07-21 08:45:00

小涂Ss · 2024-07-21 08:45:00 发布

一、什么是NVIDIA的CUDA

CUDA提供了一种相对简便的方法来进行并行处理，因为它允许开发者使用类似于C、C++和Fortran这样的高级编程语言来编写代码。通过CUDA，开发者可以创建能够由GPU执行的算法，从而处理复杂数学和物理问题，这在只使用传统的中央处理单元（CPU）时可能是非常耗时的。

CUDA架构包括几个关键的组成部分：

CUDA核心 - 由多个能够并行处理任务的核心组成，它们可以同时执行成百上千的线程。
CUDA内存管理 - 提供了对GPU内存的高效管理方法，包括全局内存、共享内存和常量内存等。
CUDA并行计算线程 - 一个GPU可以创建和管理成千上万个并行线程，这些线程可以分组执行，提高数据处理的效率。
CUDA工具链 - 包括编译器、调试器和性能分析工具，帮助开发者优化其GPU代码。

CUDA被广泛应用于科学计算、工程、医学成像、视频和图像处理、机器学习等领域，因为这些领域通常需要大量的并行计算能力。例如，在深度学习中，CUDA使得神经网络的训练通过GPU加速变得可能，大幅缩短了所需的时间。

二、查看已经安装的CUDA

在Ubuntu系统中，你可以通过以下几种方式来检查已安装的CUDA版本：

使用nvcc命令：
nvcc是NVIDIA CUDA编译器工具。你可以通过命令行运行以下命令来查看其版本：
```
`nvcc --version`
```
这将输出CUDA编译器的版本信息。
检查CUDA目录：
CUDA通常安装在/usr/local/cuda目录下。你可以检查这个目录下的版本号：
```
`ls -l /usr/local/cuda`
```
通常，这个目录是指向当前安装的CUDA版本的一个符号链接。
使用dpkg查询：
如果你是通过apt或dpkg安装的CUDA，可以用以下命令来查询安装的包：
```
`dpkg -l | grep cuda`
```
这将列出所有包含“cuda”名称的包，你可以从中找到CUDA Toolkit的相关信息。
查看环境变量：
如果你设置了环境变量CUDA_HOME或CUDA_PATH，这些变量通常指向CUDA安装的位置。你可以打印它们的值：
```
echo $CUDA_HOME echo $CUDA_PATH
```

三、ubuntu下如何安装CUDA

在Ubuntu下安装CUDA Toolkit，你可以按照以下步骤进行：

检查NVIDIA GPU：
首先，确认你的系统中有NVIDIA GPU，并且它支持CUDA。你可以使用lspci | grep -i nvidia命令查看GPU信息。
移除旧版本的NVIDIA驱动：
如果你之前安装过NVIDIA驱动，你可能需要先卸载它们，以避免潜在的冲突。使用以下命令：
```
`sudo apt-get purge nvidia*`
```
安装NVIDIA驱动：
你可以通过Ubuntu的额外驱动工具安装或者从NVIDIA官网下载合适的驱动。安装驱动的命令如下：
```
`sudo ubuntu-drivers autoinstall`
```
下载CUDA Toolkit：
前往NVIDIA CUDA Toolkit下载页面（https://developer.nvidia.com/cuda-downloads）并选择适合你Ubuntu版本的安装包。你可以选择`.deb`文件。

安装CUDA Toolkit：
假设你下载了适合你Ubuntu版本的.deb文件，你可以使用以下命令安装CUDA Toolkit：

`sudo dpkg -i cuda-repo-<distro>_<version>_amd64.deb sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/<distro>/x86_64/7fa2af80.pub sudo apt-get update sudo apt-get install cuda`

其中<distro>和<version>需要替换成你下载的文件对应的发行版和版本号。

设置环境变量：
打开你的.bashrc文件，添加以下行来设置环境变量：

`export PATH=/usr/local/cuda/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH`

然后，使改动生效：

source ~/.bashrc

重启电脑：
安装完成后，重启你的电脑以确保所有驱动和变量设置正确加载。
验证CUDA安装：
安装完成后，你可以通过运行nvcc --version来验证CUDA编译器是否正确安装。为了测试整个CUDA Toolkit，你可以尝试编译并运行NVIDIA提供的示例程序。

四、ubuntu下如何升级CUDA

在Ubuntu系统上升级CUDA Toolkit需要谨慎进行，因为这可能会影响依赖于CUDA的应用程序。以下是升级CUDA的一般步骤：

备份重要数据：
在进行升级之前，确保备份你的重要数据和工作，以防升级过程中出现问题。
卸载旧版本CUDA：
你可以使用以下命令来卸载旧版本的CUDA Toolkit：
```
`sudo apt-get --purge remove "*cuda*" sudo apt-get --purge remove "*nvidia*"`
```
这将移除当前安装的CUDA版本和相关的NVIDIA驱动程序。
清理系统：
清理系统中不再需要的依赖和包：
```
`sudo apt-get autoremove sudo apt-get autoclean`
```
安装新版本的NVIDIA驱动：
确保安装与新版本CUDA兼容的NVIDIA驱动。可以通过Ubuntu的额外驱动工具或从NVIDIA官网下载安装。
下载新版本的CUDA Toolkit：
前往NVIDIA官方网站下载最新版本的CUDA Toolkit（https://developer.nvidia.com/cuda-downloads）。
安装新版本的CUDA Toolkit：
根据下载的CUDA版本，使用dpkg和apt-get命令安装新版本的CUDA Toolkit。例如：
```
`sudo dpkg -i cuda-repo-<distro>_<version>_amd64.deb sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/<distro>/x86_64/7fa2af80.pub sudo apt-get update sudo apt-get install cuda`
```
其中<distro>和<version>需要替换成你下载的文件对应的发行版和版本号。
更新环境变量：
更新.bashrc文件，将CUDA的路径设置为新版本的路径：
```
`export PATH=/usr/local/cuda-<new_version>/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda-<new_version>/lib64:$LD_LIBRARY_PATH`
```
替换<new_version>为你安装的新版本号，然后运行source ~/.bashrc使更改生效。
重启电脑：
重启你的电脑以确保所有的驱动和环境变量设置正确加载。
验证新版本的CUDA：
使用nvcc --version命令来验证新版本的CUDA编译器是否安装成功。

最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

五、面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下。
在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

Triton中文社区

欢迎来到由智源人工智能研究院发起的Triton中文社区，这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂，为推动人工智能技术的普及与深化应用贡献力量。

更多推荐

早鸟票倒计时｜TVM/Triton/TileLang同台炫技，Meet AI Compiler邀你一同解锁AI编译器的无限可能！

Triton中文社区

triton inference server的backend插件机制代码流程梳理、模型加载代码梳理

triton inference server代码流程梳理、模型加载代码梳理

Triton中文社区

obs-backgroundremoval项目CUDA依赖问题的分析与解决方案

obs-backgroundremoval项目CUDA依赖问题的分析与解决方案obs-backgroundremoval是OBS Studio的一个插件，主要用于在肖像图像和视频中替换背景以及增强低光场景。在将该项目打包为Fedora RPM时，发现了一个关于CUDA依赖的重要技术问题。问题根源分析项目默认构建会捆绑onnxruntime库，这些库在默认构建配置下强制包含了CUDA运行时路径...