2023年7月18日Flash Attention2实测效果评测

计算机

希望通过这次讨论，让大家对这个算法的实际性能有更深入的认识。测试不仅涵盖了长序列场景，还加入了计算机视觉领域的任务，比如 ViT 和 Swin 等模型。其中，Swin 具有短序列、大批次的特点，这为其性能评估提供了新的视角。以下是部分测试结果（参数说明：B 为 batch_size，L 为 seq_length，A 为 num_heads，d 为 feat_dims）。这些数据有助于我们全面理解算法在不同场景下的表现。