Flash attention 加速效果较差，大约只提升5%的推理速度 about qwen HOT 5 CLOSED

补充一点，刚才的实验只提到了context length，其实跟output length的关系也很大。
当output length比较小，context length比较大时，瓶颈主要context的计算上，这时候FlashAttention就比较有优势；
当output length比较大，瓶颈就落在autoregressive的单步推理上，FlashAttention的提速就比较弱了

from qwen.

flash主要是训练降显存，提速度。推理一般都没太大用处。

from qwen.

我也是，还使用了最新的flash-attention-2，是因为flah-attn确实对推理加速不明显吗？

from qwen.

其实跟序列长度关系比较大，短序列提速不明显，长序列提速还是比较可观的。简单测试了一下：

• 5000左右的context length，提速有20%以上；
• 50左右的context length (Readme里的case），提速不到5%

from qwen.

我也是，还使用了最新的flash-attention-2，是因为flah-attn确实对推理加速不明显吗？

@jackaihfia2334 您好，请问使用flash attn2需要对原始代码的一些层进行更名吗？还是可以直接使用？

from qwen.