英伟达最新GPU算力逆天,但在训练MoE(混合专家)大模型时,GPU间传数据仍会“堵车”。MoE模型像个大餐厅,数据需动态分配给不同GPU上的“专家”。传统的“主动推送”方式需要复杂的协调与同步等待,导致GPU经常闲置。
为此,Cursor开源了MoK技术,重写GPU底层工作流。首先,改“推”为“拉(Pull)”,让目标GPU主动去取数据,省去繁琐协调,将同步延迟从103微秒暴降至18微秒。其次,MoK把“传数据”和“算数据”塞进同一个内核,精准分配资源,让通信和计算无缝重叠、同时干活。此外,它还引入环形缓冲区等机制,优化显存与计算节奏。
这套“微操”效果显著:在英伟达GB300集群上,MoK让端到端单卡训练吞吐量大幅提升约41%。
这揭示了一个真相:硬件再快,也救不了低效的软件调度。如今的AI竞争已卷到底层,未来决定AI公司实力的,不仅是拥有多少数据,更是其代码能多深地扎进硬件底层。
原文链接
本文链接:https://kx.umi6.com/article/37638.html
转载请注明文章出处
相关推荐
换一换
Cursor 9秒删库搞崩公司,然后…写了份检讨
2026-04-28 17:27:55
Cursor到底有没有护城河?
2025-05-06 12:54:15
AI编程等待“失控”
2025-06-01 16:22:14
Cursor套壳Kimi败露,最强「自研」模型被锤!创始人:忘记署名了
2026-03-21 14:11:10
Cursor爆红,但Cursor不是国内AI编程的出路
2025-01-06 10:22:22
Cursor自研模型反超Opus 4.6!价格脚踝斩,氛围编程沸腾了
2026-03-20 12:25:37
Cursor发布首个编程大模型!代码生成250tokens/秒,强化学习+MoE架构
2025-10-30 10:33:49
Cursor新模型,你怎么还在套Kimi?马斯克你怎么还吆喝上了??
2026-05-19 14:35:36
马斯克Grok 4.6重回一梯队!更低价格反超Fable 5,这Cursor是真没白收购
2026-08-13 20:35:14
Cursor的突然爆火,唤起了大模型的又一春
2024-09-10 19:34:07
GitHub把OpenAI当备胎,Copilot接入Claude+Gemini,网友:Cursor的商业模式没了
2024-10-30 11:00:09
收入4个月涨2倍,“最火AI编程神器”Cursor估值达百亿美元
2025-03-10 09:26:47
Vibe Coding? Vibe over Coding!
2025-07-13 16:06:42
732 文章
964040 浏览
24小时热文
更多
-
2026-10-22 09:32:38 -
2026-10-22 03:15:50 -
2026-10-22 03:14:30