标题:矩阵乘法可以算得更快了!港中文10页论文证明:能源、时间均可节省
正文:天下苦大模型矩阵乘法久矣。训练或推理过程中,矩阵乘法耗尽算力。如今,香港中文大学提出新算法,能源节省5%-10%,时间节省5%。
论文作者Dmitry Rybin表示,新算法名为RXTX,基于4×4分块矩阵递归乘法,通过机器学习与组合优化结合发现。关键步骤包括分块递归调用、对称乘积计算及结果组合,最终提升XXt计算效率。
与传统Strassen算法相比,RXTX递归关系为R(n)=8R(n/4)+26M(n/4),较原算法S(n)=4S(n/2)+2M(n/2)优化5%。实验显示,当n为4的幂次时,RXTX乘法次数降低5%,总运算量优于原算法,尤其当n≥256时显著提速。在6144×6144矩阵测试中,RXTX平均运行时间比BLAS快9%,99%测试中表现更优。
算法借助机器学习与组合优化,通过强化学习生成候选乘积,MILP筛选最优子集并迭代优化,大幅降低计算复杂度。论文地址:https://arxiv.org/abs/2505.09814。
原文链接
本文链接:https://kx.umi6.com/article/18770.html
转载请注明文章出处
相关推荐
.png)
换一换
DeepSeek最新开源,比英伟达更懂如何优化英伟达?
2025-02-26 15:39:53
矩阵乘法可以算得更快了!港中文10页论文证明:能源、时间均可节省
2025-05-18 14:21:17
DeepSeek开源第三弹:V3/R1训练推理关键秘籍,核心代码仅300行
2025-02-26 11:27:05
417 文章
75831 浏览
24小时热文
更多

-
2025-07-21 17:25:05
-
2025-07-21 17:23:59
-
2025-07-21 17:22:51