2025年12月，华为诺亚方舟实验室推出全新架构Nexus，革新Transformer核心机制。通过高阶注意力机制（Higher-Order Attention Mechanism），Nexus解决了传统Attention在多跳、多点逻辑推理中的不足，显著提升模型复杂推理能力。实验表明，Pythia-70M模型在SciQ数据集准确率提升7%，Qwen2.5系列在数学推理任务中表现更优，且无需增加参数量。Nexus采用递归框架与权重共享策略，实现高效表达密度提升，适用于小模型训练和大模型改造。研究团队计划将Nexus扩展至视觉与多模态任务，进一步优化其性能。论文已发布于arXiv。