1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

标题:对话季宇:大模型非必须在GPU跑,CPU内存带宽已足够

在北京万泉河畔的写字楼内,我见到了季宇,一位前华为“天才少年”、昇腾编译器专家、清华大学计算机科学博士以及CCF优秀博士学位论文获得者。他两年前离开华为创办了行云集成电路,专注于自研GPU。

他的办公室整洁得令人惊叹,这种极致的秩序感让人印象深刻。季宇解释说,由于大部分时间在工位办公,办公室才能保持如此干净。这种坦率贯穿了整个采访。

谈及公司近期发布的DeepSeek一体机“褐蚁”,季宇直言将其称为“组装机”。DeepSeek一体机整合了高性能硬件、模型算法框架及行业应用软件,相当于“一台本地部署DeepSeek模型的电脑”。尽管硬件依赖上游产业链,如“英特尔/国产CPU+英伟达GPU”,但其高昂的成本让季宇认为,目前的大模型本地部署成本可以从百万级降至十万级。

他指出,大模型不一定非要运行在GPU上,CPU的内存带宽已经足够。“最新的服务器级CPU配备了12内存通道,DDR5内存频率可达6400M,双路服务器的内存带宽能达到1.2TB/s,超过RTX 4090的1TB/s。”

尽管如此,业内其他公司是否能轻松复制这一技术路线?季宇表示,他们正设计一款专为大模型优化的芯片,不再依赖英伟达GPU的通用架构。他推崇黄仁勋的经营哲学,并希望通过“褐蚁”证明这条路线的可行性,从而为自研芯片铺平道路。

季宇坦言,创业之初最大的挑战是明确商业逻辑,而非具体技术细节。他认为,英伟达的成功源于其系统性布局,而行云的目标是将大模型推向消费电子级别,让每个人都能负担得起。

“褐蚁”的成本降低得益于CPU内存带宽的提升,而非依赖GPU显存。季宇提到,现有CPU并非为大模型定制,许多物理核未被使用,行云计划通过自研芯片最大化DDR内存性能,同时降低成本。

对于DeepSeek一体机与行云自研GPU的关系,季宇表示,自研GPU将进一步降低整体成本。例如,通过优化CPU和GPU的设计,去除不必要的物理核并强化内存性能,可以显著提升性价比。

他举例称,即将发布的“蚁群”项目将利用多台“褐蚁”构建集群,仅需300-400万预算即可实现500-1000并发,支持10万DAU,让小团队也能参与创新。

文章标题:对话季宇:大模型非必须在GPU跑,CPU内存带宽已足够
文章链接:https://www.huxiu.com/article/4363270.html

原文链接
本文链接:https://kx.umi6.com/article/18771.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
训练大模型烧了那么多钱,商业价值到底在哪?
2025-07-04 09:39:31
商汤需要「网感」
2025-07-09 13:03:03
最新一期权威大模型榜单:豆包1.5、商汤日日新V6并列国内第一
2025-05-30 16:55:41
大模型自信心崩塌!谷歌DeepMind证实:反对意见让GPT-4o轻易放弃正确答案
2025-07-20 16:05:44
百度智能云千帆大模型平台、文小言宣布接入 DeepSeek-R1-0528 最新模型
2025-05-29 22:43:00
从黑箱到显微镜:大模型可解释性的现状与未来
2025-06-17 18:41:56
大模型刷数学题竟有害?CMU评估20+模型指出训练陷阱
2025-07-08 17:52:09
上海首个交通领域多模态大模型问世 有望让路口通行效率提升15%
2025-05-27 11:29:37
下一个十年,AI的大方向
2025-06-12 09:29:07
北京:打造行业头部大模型 构建高性能通用智能体
2025-05-27 20:26:44
中信建投武超则:大模型的迭代永无止境 坚定看好接下来AI应用的发展表现
2025-07-16 18:10:08
60%情况下主流大模型没理解风险只是装懂!别被“安全答案”骗了
2025-06-10 17:51:47
大模型再「战」高考:从一本直升 985
2025-06-27 09:05:45
24小时热文
更多
扫一扫体验小程序