标题:矩阵乘法可以算得更快了!港中文10页论文证明:能源、时间均可节省
正文:天下苦大模型矩阵乘法久矣。训练或推理过程中,矩阵乘法耗尽算力。如今,香港中文大学提出新算法,能源节省5%-10%,时间节省5%。
论文作者Dmitry Rybin表示,新算法名为RXTX,基于4×4分块矩阵递归乘法,通过机器学习与组合优化结合发现。关键步骤包括分块递归调用、对称乘积计算及结果组合,最终提升XXt计算效率。
与传统Strassen算法相比,RXTX递归关系为R(n)=8R(n/4)+26M(n/4),较原算法S(n)=4S(n/2)+2M(n/2)优化5%。实验显示,当n为4的幂次时,RXTX乘法次数降低5%,总运算量优于原算法,尤其当n≥256时显著提速。在6144×6144矩阵测试中,RXTX平均运行时间比BLAS快9%,99%测试中表现更优。
算法借助机器学习与组合优化,通过强化学习生成候选乘积,MILP筛选最优子集并迭代优化,大幅降低计算复杂度。论文地址:https://arxiv.org/abs/2505.09814。
原文链接
本文链接:https://kx.umi6.com/article/18770.html
转载请注明文章出处
相关推荐
换一换
DeepSeek最新开源,比英伟达更懂如何优化英伟达?
2025-02-26 15:39:53
DeepSeek开源第三弹:V3/R1训练推理关键秘籍,核心代码仅300行
2025-02-26 11:27:05
谷歌AlphaEvolve的数学能力,堪比AlphaGo“神之一手”?
2025-05-18 12:20:47
国内首家百亿估值纯推理GPU独角兽诞生!专访曦望联席CEO王湛:谁的推理成本更低谁就是赢家
2026-04-23 23:33:29
联通在线申请注册呦爱机器人商标
2026-04-24 13:14:01
Anthropic二级市场估值升至万亿美元 超越OpenAI
2026-04-23 14:11:46
特斯拉:Cortex 2算力集群现已上线 并已开始运行训练任务
2026-04-23 08:58:08
中信证券:预计二季度AI行情开始发散 建议关注被动元件、消费电子等细分板块
2026-04-24 09:04:28
知情人士:华为云码道代码智能体日活增长18倍 本周上线Skill市场
2026-04-22 19:24:53
国家知识产权局:将积极完善新兴领域知识产权保护制度
2026-04-23 17:20:53
信息发展新设子公司 含AI及卫星相关业务
2026-04-24 14:17:44
千问总裁吴嘉:“AI办事”对外开放 首家接入东方航空
2026-04-23 11:02:47
摩尔线程Day-0适配DeepSeek-V4
2026-04-24 18:28:12
662 文章
526690 浏览
24小时热文
更多
-
2026-04-24 20:31:56 -
2026-04-24 20:29:51 -
2026-04-24 19:29:38