
同学
出门前匆匆看了一眼,简单回复一下。正式版 CUDA 已经支持到 12.4,近期有不少小伙伴因为 H 卡的 550 驱动与 cuBLAS 版本低于 12.3 的问题,不得不依赖 nightly 版本,现在可以切换回稳定版了。这次更新中一个显著的变化是引入了 FSDP2。相比于基于 FlatTensor 的初代 FSDP API,FSDP2 在底层设计上更加贴合多种分布式并行策略,性能也有所提升(相比 FSDP1 提高约 7%)。此外,社区中曾有反馈提到,FSDP2 与 torch.compile 的兼容性更好,不会再像初代 FSDP 那样频繁出现莫名其妙的错误(这一点还需要进一步验证)。为了更好地适配大规模模型训练场景,特别是涉及多种并行策略的情况,官方计划用 device mesh 和 DTensor 替代长期使用的 distributed group 概念。不过这可能会给从 2.4 开始的代码维护带来一定挑战。目前文档尚未仔细阅读,不确定是否同步更新。实际上,在 2.3 时代,文档内容存在一些混乱之处,比如同时包含 DTensor 和 FlatTensor 的写法,但并未明确标注适用场景。例如,distributed checkpoint(DCP)相关文档已默认支持 DTensor,但在使用 FSDP1 的 FlatTensor 时却会报错,最终只能通过查阅 test 代码库中的源码来解决问题。2.4 版本最重要的升级点是以 FSDP2 为核心的分布式并行 API 稳定版本发布。关注 PyTorch 原生大模型训练的
同学可以留意这一变化。尽管 DeepSpeed 和 Megatron 在某些方面更为成熟,但只有 PyTorch 原生 API 才能与 torch.compile 兼容,为未来的性能优化提供更多可能性。除此之外,另一个重要更新是对 block-wise attention mask for SDPA 的支持。这一改进在特定场景下将大幅提升效率和灵活性。