Faster Transformer和Flash Attention有何区别?

1个回答

写回答

鸭梨王

2025-10-24 17:55

+ 关注

NVIDIA
NVIDIA

Faster Transformer和Flash Attention均旨在解决以Transformer为基础的各类模型在Prefill阶段所面临的Memory bound问题。由于二者是Transformer不同发展阶段的技术成果,所以其侧重点有所不同。Faster Transformer是NVIDIA旗下的一个框架,在我看来,它更像是TensorRT到TensorRT LLM的过渡产物。最初,Faster Transformer是为加速Google的Transformer研发而生。从支持Faster Encoder开始,其优化核心为Layer Fusion,即将Transformer的核心组件尽可能压缩到更少的算子里,以此降低访存和kernel launch的开销。之后,它又历经Faster Decoder、量化、多卡并行以及对更多模型的扩展支持等发展历程。随着大模型的发展,NVIDIA决定迁移从Faster Transformer发展起来的技术,以更好地满足大模型的加速需求,进而发布了TensorRT LLM这一大模型推理框架,从而使TensorRT的IP得以完美延续。Flash Attention则是大模型时代的产物。在这个阶段,Memory bound问题变得更加严峻和突出,而且由于大模型的出现,多卡并行的需求也备受关注,毕竟一张卡可能都无法容纳模型的权重,模型训练和推理的压力不仅体现在访存量上,显存占用方面也面临压力。Attention作为大模型的核心组件受到重点关注,Flash Attention的提出主要是为了解决上述问题。其核心为Tiling和online softmax,每次取一部分数据进入该技术,重点缓解训练或推理过程中的显存占用,同时也引入kernel fusion手段以减少访存,这种kernel fusion更为极致,一次Attention成为一个算子,这可以看作是Faster Transformer优化技术在大模型领域的深入与强化。这两种技术均以CUDA为核心构建,本质上都是对GPU访存能力和计算能力的挖掘。综上所述,我认为Faster Transformer和Flash Attention是大模型发展两个阶段下、统一目标之上的两种技术成果。

举报有用(0)分享收藏

Copyright © 2025 IZhiDa.com All Rights Reserved.

知答 版权所有 粤ICP备2023042255号