标题:对话季宇:大模型非必须在GPU跑,CPU内存带宽已足够
在北京万泉河畔的写字楼内,我见到了季宇,一位前华为“天才少年”、昇腾编译器专家、清华大学计算机科学博士以及CCF优秀博士学位论文获得者。他两年前离开华为创办了行云集成电路,专注于自研GPU。
他的办公室整洁得令人惊叹,这种极致的秩序感让人印象深刻。季宇解释说,由于大部分时间在工位办公,办公室才能保持如此干净。这种坦率贯穿了整个采访。
谈及公司近期发布的DeepSeek一体机“褐蚁”,季宇直言将其称为“组装机”。DeepSeek一体机整合了高性能硬件、模型算法框架及行业应用软件,相当于“一台本地部署DeepSeek模型的电脑”。尽管硬件依赖上游产业链,如“英特尔/国产CPU+英伟达GPU”,但其高昂的成本让季宇认为,目前的大模型本地部署成本可以从百万级降至十万级。
他指出,大模型不一定非要运行在GPU上,CPU的内存带宽已经足够。“最新的服务器级CPU配备了12内存通道,DDR5内存频率可达6400M,双路服务器的内存带宽能达到1.2TB/s,超过RTX 4090的1TB/s。”
尽管如此,业内其他公司是否能轻松复制这一技术路线?季宇表示,他们正设计一款专为大模型优化的芯片,不再依赖英伟达GPU的通用架构。他推崇黄仁勋的经营哲学,并希望通过“褐蚁”证明这条路线的可行性,从而为自研芯片铺平道路。
季宇坦言,创业之初最大的挑战是明确商业逻辑,而非具体技术细节。他认为,英伟达的成功源于其系统性布局,而行云的目标是将大模型推向消费电子级别,让每个人都能负担得起。
“褐蚁”的成本降低得益于CPU内存带宽的提升,而非依赖GPU显存。季宇提到,现有CPU并非为大模型定制,许多物理核未被使用,行云计划通过自研芯片最大化DDR内存性能,同时降低成本。
对于DeepSeek一体机与行云自研GPU的关系,季宇表示,自研GPU将进一步降低整体成本。例如,通过优化CPU和GPU的设计,去除不必要的物理核并强化内存性能,可以显著提升性价比。
他举例称,即将发布的“蚁群”项目将利用多台“褐蚁”构建集群,仅需300-400万预算即可实现500-1000并发,支持10万DAU,让小团队也能参与创新。
文章标题:对话季宇:大模型非必须在GPU跑,CPU内存带宽已足够
文章链接:https://www.huxiu.com/article/4363270.html
.png)

-
2025-07-22 19:38:40
-
2025-07-22 19:37:31
-
2025-07-22 18:40:20