移动
FasterTransformer 是一种针对 Encoder 和 Decoder 模型整体优化的技术方案，涵盖多种优化手段，例如为内存受限的操作（Memory-Bound Op）进行 Kernel Fusion、实现 KV 缓存（KV-Caching）、混合精度计算（Mix-Precision）以及模型并行化等。然而，在 FasterTransformer 中，QKV 部分的融合存在困难，主要原因是其中的 Softmax 操作干扰了直接融合。FlashAttention 通过数学公式的推导，解决了这一问题。它成功解耦了 Softmax 的 reduction 特性，从而使得 QKV 操作可以被统一划分为更小的块（Blocking）。这种设计显著减少了数据
移动（Data Movement），提升了计算效率和性能表现。因此，FlashAttention 在优化注意力机制方面具有重要意义，尤其是在处理大规模数据时表现出更强的优势。
