综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
正文:2026年4月,北大张牧涵团队提出新稀疏注意力机制HISA(分层索引稀疏注意力),突破64K上下文索引瓶颈,在DeepSeek-V3.2和GLM-5模型上实现2-4倍提速且几乎不丢精度。HISA通过块级粗过滤与块内精挑字符两步操作,将复杂度从O(L²)降至O(L²/B + L×m×B),大幅降低计算成本,同时支持即插即用无需重新训练。实验显示,HISA在64K长度文本下最高提速3.75倍,精度与原方法DSA持平,尤其在长文本理解与关键信息检索任务中表现优异。团队未来计划改进块划分方式并探索联合训练优化筛选精度。
原文链接
加载更多
暂无内容