登录社区云，与社区用户共同成长
邀请您加入社区
Triton中国社区贡献者招募计划启动！点击了解详情进行报名
智源人工智能研究院于10 月 17 日下午，在位于北京市海淀区丰智东路13号朗丽兹西山花园酒店的GOSIM开源盛会上，成功举行了Triton&vLLM联合WorkShop。
Triton &vLLM联合WorkShop重磅来袭，点击文章立即报名！
因此，本届 PyTorch 大会所宣讲的绝大多数内容都或多或少涉及大模型的训练、微调、对齐、推理、量化、部署、评测、数据、结构细节、底层编译优化等关键话题，以及整个 PyTorch 生态社群在过去一年中与之相关的努力。本届的例行报告本身包含五个部分，其中最后三个分别对应 PyTorch 官方今年新推出的三个原生大模型库：用于大规模预训练的 TorchTitan、用于大模型微调的 TorchTune
通过实例代码，展示了如何优化 MoE 架构，提升计算效率，并探讨了 L2 缓存优化和量化技术在 MoE 中的应用，为 AI 模型的优化提供了宝贵的实践经验。李之昕老师详细介绍了 FlagGems 的最新研发进展，包括新增的算子和功能特性，性能和功能的改进，硬件适配的最新进展，以及未来的研发计划。活动的成功举办，展示了Triton的广泛应用和强大潜力，也为未来更多的Triton爱好者提供了宝贵的经验
此次大会，包括 Nvidia、AMD、Intel、Qualcomm 在内的各大芯片厂商，以及Google、微软、OpenAI、AWS 和 Meta 等 AI 领域的领军企业，均将 Triton 视为构建开放 AI 软件栈的关键技术，尤其是 Meta 都把 Triton 作为打造开放 AI 软件栈的必需品。Triton 的社区生态建设呈现出一种独特的活力，核心团队虽不张扬，但众多芯片厂商和用户厂商表
2024年大模型进入了新的发展阶段，AI全领域开启了更为迅猛的量变积累。一方面，模型突破了模态的隔离，文本、语音、视觉等各种形式之间产生的丰富的结合，大大增加了模态的多样性；同时，模型参数量从百亿、千亿级膨胀到万亿级，训练数据量从TB级达到PB级，上下文令牌数量也从几千增长到百万级，计算规模空前庞大；此外，算法结构的创新也带来了MoE、模型量化、定制算子等更加复杂的计算需求。
