图片

Triton 以其在易用性及在模型优化、硬件加速上的优势,吸引了全球开发者的广泛关注。在中国,尽管 Triton 的潜力巨大,但围绕 Triton 的开发者社区和相关技术交流仍处于发展阶段,亟需一个平台来促进知识共享和技术交流。

智源研究院致力于打破这一局面,通过拓展 Triton 的交流的广度和深度,与国内外的开发者和芯片制造商携手合作,共同推进 Triton 技术在中国的快速发展。我们的目标是让 Triton 的先进技术成果能够惠及更广泛的群体,推动整个 AI 领域的技术进步和应用创新。

正是在这样的背景下,智源人工智能研究院于 9 月 7 日下午,在位于北京市海淀区成府路 150 号的智源大厦,成功举行了第二期Triton中国生态 Meetup。这场盛会不仅吸引了 200 余位 Triton 技术爱好者的积极参与,更通过线上直播吸引了近万名观众的热情参与,共同见证了 Triton 技术的精彩分享和深入探讨。

活动亮点

  • 技术前瞻:本次活动深入探讨了 Triton 的最新技术趋势和未来发展方向,为参会人员提供了洞悉行业前沿的机会。

  • 实战经验:来自智源、硅基流动、天数智芯的技术专家们分享了他们在 Triton 算子开发、编译器优化和硬件适配方面的一线实战经验。

  • 生态构建:本次活动旨在构建一个开放、协作的 Triton 生态系统,促进国内外开发者、芯片制造商和科研机构之间的交流与合作。

图片

图片

精彩议题分享

活动由智源人工智能研究院发起,来自智源、硅基流动、天数智芯的四位技术专家带来了精彩的议题分享:

议题一:《FlagGems 研发进展概览》

图片

李之昕,北京智源人工智能研究院 AI编译器研发工程师

李之昕老师详细介绍了 FlagGems 的最新研发进展,包括新增的算子和功能特性,性能和功能的改进,硬件适配的最新进展,以及未来的研发计划。这些更新将进一步提升 FlagGems 的性能和适用性,为AI开发者提供更强大的工具。

议题二:《如何开发一个高效的融合 MoE 算子》

图片

朱平,北京硅基流动科技有限公司 研发工程师

朱平老师带我们深入解析了高效融合 MoE 算子的开发,包括其任务场景、性能分析、实现策略及量化加速方法。通过实例代码,展示了如何优化 MoE 架构,提升计算效率,并探讨了 L2 缓存优化和量化技术在 MoE 中的应用,为 AI 模型的优化提供了宝贵的实践经验。

议题三:《如何使用 Triton 写性能超越 Pytorch 的 Softmax 算子》

图片

陈飞宇,北京智源人工智能研究院 研发工程师

陈飞宇老师深入探讨了如何使用 Triton 编写性能超越 PyTorch 的 Softmax 算子。分析了 Softmax 算子的定义、不同维度的reduce策略,并展示了多种优化技巧,包括循环 online softmax normalizer 和 split softmax 以及在外层 softmax 的情况下更好地进行任务划分。这些方法显著提升了算子性能,为深度学习中的 Softmax 运算提供了高效的实现途径。

议题四:《天数 GPU 上 Triton 适配及共享内存管理机制》

图片

戴立伟,上海天数智芯半导体有限公司专家工程师

戴立伟老师在本次研讨会上详细介绍了天数 GPU 对 Triton 的适配及共享内存管理机制。阐述适配过程、性能优化、架构设计,并深入讲解了内存分配与同步策略。通过实例分析,揭示了在 GPU 上实现高效 Triton 程序的关键技术,为与会者提供了宝贵的实践经验和深入见解。

议题分享

本次活动中,四位讲师的分享内容干货满满,提供了非常宝贵的学习材料。引发了现场观众热烈的讨论,充分体现了开发者们对学习Triton的热情。此次活动不仅为与会者提供了学习和交流的平台,也为国内Triton生态的成熟奠定了基础。

图片

图片

图片

活动的成功举办,展示了Triton的广泛应用和强大潜力,也为未来更多的Triton爱好者提供了宝贵的经验和启示。期待Triton在国内的发展能够更加蓬勃,为技术创新带来更多可能。

视频回放

https://event.baai.ac.cn/activities/833(复制到浏览器打开)

PPT下载:

https://pan.baidu.com/s/1gcjUMDz_vcmLS6yZAeH35Q?pwd=pbo8 (复制到浏览器打开)提取码: pbo8

扫码加入Triton 技术交流群

图片

Logo

欢迎来到由智源人工智能研究院发起的Triton中文社区,这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂,为推动人工智能技术的普及与深化应用贡献力量。

更多推荐