推理加速共1篇
大模型推理中的动态稀疏注意力:超越FlashAttention的工程化路径-小栈博客测试网

大模型推理中的动态稀疏注意力:超越FlashAttention的工程化路径

深入解析大模型推理中动态稀疏注意力的工程化路径:当上下文窗口达128K时,动态稀疏注意力通过运行时识别低贡献注意力连接,将计算量从O(n²)降至O(n log n),超越FlashAttention的工程边界。本...
头像1个月前
0436