登录社区云，与社区用户共同成长
邀请您加入社区
Triton官方将其DSL语法表达体系称为 triton.language（https://triton-lang.org/main/python-api/triton.language.html），是一种依托于python环境的DSL，从该命名中的“language”中不难窥见，Triton团队想用自成一派的语言(language)对面向GPU的编程模型进行独特的表达，在Triton中，DSL由
FlagGems 使用 pre-commit（https://pre-commit.com） 的 git hooks 格式化源代码，在调用 git commit 命令时进行代码静态检查，并且 pre-commit 测试也是 CI 的一部分，不通过检查的 Pull Request 不能被提交到 FlagGems。打开 FlagGems GitHub 首页（https://github.
而相比更底层的CUDA C甚至PTX、SASS等，Triton则隐藏了一些线程块粒度以下的调度功能，改由编译器自动接管共享存储、线程并行、合并访存、张量布局等细节，降低了并行编程模型的难度，同时提高了用户的生产效率。同时，厂商能够及时跟进Triton的更新，保持在硬件适配的前沿序列，也可以提出多芯片适用的共性技术创新，并贡献到Triton的开放社区中，继而成为Triton生态发展的引领者。与CUD
b站链接：合集·Triton 从入门到精通在大模型部署中，“batching” 是指将多个输入样本一起发送到模型进行推理的过程，而不是逐个样本进行推理。这个过程通常发生在推理阶段，也就是在模型实例接收到推理请求后，对输入数据进行处理的阶段。作用：例子：4. Practice : WeNetRate Limiter原理当客户端发送了很多request，server接收了request之后，只要我们的
这篇文章主要讲的是基于官方镜像及， pytorch script 格式模型，构建tritonserver 服务。
如果还是用之前的标准流程，其实也能够做到这些，比如多模型管理，每个模型独立作为一个进程启动即可达到类似效果（我感觉这样搞类似GPU的MPS技术，triton内部多模型启动也是多进程模型），还比如多机多卡，像triton的配置文件config.pbtxt里面一样，是需要指定GPU和GPU id、以及需要几个模型实例，这些在即使没有triton也是可以手动做到的，还有提高吞吐量，自己写grpc服务调度
triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定**，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。> 本系列讲解的版本也是基于22.06。
