1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

标题:上交大冷静文:模型发展需芯片与系统协同

近期,上海交通大学与魔形智能联合研究团队在 HPCA 2025 会议上发表论文《VQ-LLM: High-performance Code Generation for Vector Quantization Augmented LLM Inference》,提出通过分层代码本缓存和代码本中心计算引擎实现超过 50% 的推理延迟降低,显著提升大语言模型推理效率。

论文负责人冷静文教授指出,向量量化(VQ)相比单元素量化的优势在于更低的比特压缩位宽。冷静文团队聚焦芯片架构和硬件互联,包括数据流设计及超节点高速互联。他强调国产芯片应避免单纯模仿英伟达,需有原创性思考,例如通过数据流芯片设计突破现有瓶颈。

冷静文认为,GPU红利渐尽,未来需创新芯片架构与编程方法。他提到,DeepSeek开源的代码库中,算子生成与多GPU编程有一定借鉴意义,但国产芯片还需构建对标CUDA的编程生态,降低学习门槛。

大集群优化方面,国内尚未拥有英伟达NVLink级别的高速互联,但华为CloudMatrix384超节点在编程生态上有一定助力。针对国产芯片的BF16/FP32收敛问题,冷静文建议加强原创设计和开放生态建设。

未来,芯片、系统与模型厂商需协同推进新型架构设计和模型小型化,共同推动大模型发展。针对英伟达出口限制,国内芯片厂商需注重生态建设和高带宽内存解决方案。

原文链接
本文链接:https://kx.umi6.com/article/18020.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
DeepSeek 透露下一代国产芯片即将发布
2025-08-21 17:37:42
DeepSeek V3到V3.1,走向国产算力自由
2025-08-24 09:10:38
首次:国产芯片全程训练,智谱华为合作 GLM-Image 模型登顶 Hugging Face Trending
2026-01-16 09:24:46
TPU芯片:国内面对AI大模型的另一种解法
2024-07-24 07:44:28
腾讯云宣布全面开放AI能力:完成主流国产芯片适配
2025-09-16 12:11:56
Clawdbot国产芯片适配完成!清华特奖出手,开源框架直接一键部署
2026-02-03 13:37:30
万字回顾首届中国AI算力大会!15+位大咖主会场演讲精华爆棚,来没来都值得收藏
2025-07-04 14:44:08
刚刚,智谱和华为搞波大的:中国首个国产芯片训练出的SOTA多模态模型!
2026-01-14 15:40:11
AI全民化,你的品味更重要了
2025-05-02 08:53:00
美国封杀对华AI芯片适得其反 老外担心2种最坏情况即将出现
2026-08-29 19:13:22
Deepseek一句话 寒武纪市值超越这些大蓝筹
2025-08-22 16:52:32
DeepSeek:UE8M0 FP8是针对即将发布的下一代国产芯片设计
2025-08-21 16:42:18
智谱 GLM-4.6 旗舰 AI 模型发布:代码能力全面进阶,适配寒武纪、摩尔线程芯片
2025-09-30 15:28:45
24小时热文
更多
扫一扫体验小程序