标题:矩阵乘法可以算得更快了!港中文10页论文证明:能源、时间均可节省
正文:天下苦大模型矩阵乘法久矣。训练或推理过程中,矩阵乘法耗尽算力。如今,香港中文大学提出新算法,能源节省5%-10%,时间节省5%。
论文作者Dmitry Rybin表示,新算法名为RXTX,基于4×4分块矩阵递归乘法,通过机器学习与组合优化结合发现。关键步骤包括分块递归调用、对称乘积计算及结果组合,最终提升XXt计算效率。
与传统Strassen算法相比,RXTX递归关系为R(n)=8R(n/4)+26M(n/4),较原算法S(n)=4S(n/2)+2M(n/2)优化5%。实验显示,当n为4的幂次时,RXTX乘法次数降低5%,总运算量优于原算法,尤其当n≥256时显著提速。在6144×6144矩阵测试中,RXTX平均运行时间比BLAS快9%,99%测试中表现更优。
算法借助机器学习与组合优化,通过强化学习生成候选乘积,MILP筛选最优子集并迭代优化,大幅降低计算复杂度。论文地址:https://arxiv.org/abs/2505.09814。
原文链接
本文链接:https://kx.umi6.com/article/18770.html
转载请注明文章出处
相关推荐
换一换
谷歌AlphaEvolve的数学能力,堪比AlphaGo“神之一手”?
2025-05-18 12:20:47
DeepSeek开源第三弹:V3/R1训练推理关键秘籍,核心代码仅300行
2025-02-26 11:27:05
矩阵乘法可以算得更快了!港中文10页论文证明:能源、时间均可节省
2025-05-18 14:21:17
DeepSeek最新开源,比英伟达更懂如何优化英伟达?
2025-02-26 15:39:53
GSMA:缺少非洲语言内容的模型拖慢了 AI 在当地的普及
2025-10-24 16:48:21
限60天以内!特朗普政府拟加快电网接入审批 支持AI数据中心建设
2025-10-24 11:38:17
OpenAI 视频生成应用 Sora 更新在即:编辑器、安卓版 App、社交功能……
2025-10-24 09:32:35
前瑞银董事长韦伯警告:AI 正引领一个新的不平等时代
2025-10-25 14:25:22
我国拟修改网络安全法促进人工智能健康发展
2025-10-24 18:49:31
顶会直聘!大厂ICCV现场玩出新模式,还是鹅会玩
2025-10-23 16:08:51
荣耀设立20亿激励资源 提升智能体和MagicOS生态体验力度
2025-10-23 18:14:34
存储芯片“超级周期”持续演绎:三星、SK海力士料将涨价30% 客户开启囤货模式
2025-10-23 15:11:46
Reddit 起诉 Perplexity,指控后者未经授权为 AI 抓取和使用数据
2025-10-23 16:09:59
502 文章
254497 浏览
24小时热文
更多
-
2025-10-25 18:38:20 -
2025-10-25 18:37:15 -
2025-10-25 16:32:54