登录社区云，与社区用户共同成长
邀请您加入社区
智源研究院和浪潮信息将于12月25日（星期三）下午组织召开AI系统创新研讨会，共同探讨在大模型高速发展时期，如何构建多元AI算力芯片架构，共建全栈软件生态，助力AI技术和产业的发展和进步。
Triton 以其低门槛开发和抽象的硬件细节处理，成为开发者的优选。对于渴望参与 Triton 开源社区建设的开发者来说，优化 Triton 算子是一条理想的路径。优化后的 Triton 算子性能有望匹敌甚至超越 PyTorch 的原生实现。正如古人云：“工欲善其事，必先利其器”，本文将介绍 Triton 算子优化的利器——自动调优（autotune）。
11月30日周六下午，Triton中国社区的成员们齐聚一堂，参与了一场特别的茶话会。这场活动不仅是对开源社区贡献者辛勤工作的感谢，也是对未来发展方向的深入探讨.。
Triton中国社区贡献者招募计划启动！点击了解详情进行报名
智源人工智能研究院于10 月 17 日下午，在位于北京市海淀区丰智东路13号朗丽兹西山花园酒店的GOSIM开源盛会上，成功举行了Triton&vLLM联合WorkShop。
Triton &vLLM联合WorkShop重磅来袭，点击文章立即报名！
因此，本届 PyTorch 大会所宣讲的绝大多数内容都或多或少涉及大模型的训练、微调、对齐、推理、量化、部署、评测、数据、结构细节、底层编译优化等关键话题，以及整个 PyTorch 生态社群在过去一年中与之相关的努力。本届的例行报告本身包含五个部分，其中最后三个分别对应 PyTorch 官方今年新推出的三个原生大模型库：用于大规模预训练的 TorchTitan、用于大模型微调的 TorchTune
通过实例代码，展示了如何优化 MoE 架构，提升计算效率，并探讨了 L2 缓存优化和量化技术在 MoE 中的应用，为 AI 模型的优化提供了宝贵的实践经验。李之昕老师详细介绍了 FlagGems 的最新研发进展，包括新增的算子和功能特性，性能和功能的改进，硬件适配的最新进展，以及未来的研发计划。活动的成功举办，展示了Triton的广泛应用和强大潜力，也为未来更多的Triton爱好者提供了宝贵的经验
此次大会，包括 Nvidia、AMD、Intel、Qualcomm 在内的各大芯片厂商，以及Google、微软、OpenAI、AWS 和 Meta 等 AI 领域的领军企业，均将 Triton 视为构建开放 AI 软件栈的关键技术，尤其是 Meta 都把 Triton 作为打造开放 AI 软件栈的必需品。Triton 的社区生态建设呈现出一种独特的活力，核心团队虽不张扬，但众多芯片厂商和用户厂商表
2024年大模型进入了新的发展阶段，AI全领域开启了更为迅猛的量变积累。一方面，模型突破了模态的隔离，文本、语音、视觉等各种形式之间产生的丰富的结合，大大增加了模态的多样性；同时，模型参数量从百亿、千亿级膨胀到万亿级，训练数据量从TB级达到PB级，上下文令牌数量也从几千增长到百万级，计算规模空前庞大；此外，算法结构的创新也带来了MoE、模型量化、定制算子等更加复杂的计算需求。
