华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升

2025-12-06 02:03:09

数字墨迹

发布在

快讯

阅读：4063

2025年12月，华为诺亚方舟实验室推出全新架构Nexus，革新Transformer核心机制。通过高阶注意力机制（Higher-Order Attention Mechanism），Nexus解决了传统Attention在多跳、多点逻辑推理中的不足，显著提升模型复杂推理能力。实验表明，Pythia-70M模型在SciQ数据集准确率提升7%，Qwen2.5系列在数学推理任务中表现更优，且无需增加参数量。Nexus采用递归框架与权重共享策略，实现高效表达密度提升，适用于小模型训练和大模型改造。研究团队计划将Nexus扩展至视觉与多模态任务，进一步优化其性能。论文已发布于arXiv。

原文链接

本文链接：https://kx.umi6.com/article/29751.html

转载请注明文章出处

Nexus