
英伟达
这是TensorRT-LLM集合通信插件的调用图。有背景色的是算子,其余为host侧调用。
该插件的起源可以追溯到 FasterTransformer。在 TensorRT-LLM 中,插件的核心定义位于 cpp/tensorrt_llm/kernels/customAllReduce.cu 文件中。它于 10 月 8 日引入了 lamport_style_one_shot_all_reduce_norm 相关内容(见上图粉色部分),通过利用 NVSwitch 的 multicast 特性来加速 AllReduce 操作,这也是本文讨论的重点内容之一。除此之外,今年下半年还有一些较为重要的更新,例如……这些改进进一步提升了系统的性能与功能完整性,为大规模模型的训练和推理提供了更强的支持。这个插件在多卡 barrier 中巧妙运用了 PTX memory order,展现出不低的编写功力,例如…在PTX内存一致性模型方面,NCCL和NVSHMEM更为出色。特别推荐大家阅读NVSHMEM中asm PTX涉及弱内存序的部分,内容非常精彩。那么,什么是PTX内存一致性模型?英伟达曾发布两篇文章进行详细阐述,可深入了解其工作机制与实现原理。这有助于优化CUDA编程中的性能表现,提升并行计算效率。文章对理论,特别是形式化验证,要求功底深厚。如果不熟悉,建议别看,看不懂也正常。可以参考@kAITOukito的内容。verification内容较多,了解用法即可,原理复杂,三四篇文也难解释清楚。不要被英伟达博客里的 MultiShot 概念吓住,其中的 shot 其实并不是新术语,换成 pass 或 turn 也完全可以,意思就是轮次。例如,oneShotAllReduceKernel 或者类似的 one_shot_all_reduce,表示在多卡环境中,只需要传递一轮数据(同时包含当前卡的计算)就能完成 AllReduce 操作。而 twoShotAllReduce 则意味着需要两轮数据传递(加上计算)才能完成这个操作。最后抱怨一下TensorRT-LLM的工程实现:customAllReduce.cu一个文件里同时使用驼峰命名和下划线命名,风格不统一,实在让人看着难受。催更@heyguy,迫不及待想看你的新内容!
Copyright © 2025 IZhiDa.com All Rights Reserved.
知答 版权所有 粤ICP备2023042255号