.png)
近日，vLLM原班人马创立的推理公司Inferact公布最新测试：用16块谷歌TPU v7运行Kimi K3模型，每秒生成709个Token，比同等数量的英伟达GB200 GPU快57%！该突破源于其自研的megakernel推理内核，将数百个小调度程序合并为一个大程序，消除带宽浪费，并深度融合DeepSeek的DSpark推测解码框架。在Qwen模型测试中，TPU优势更显著。Inferact今年初成立，已获a16z领投1.5亿美元融资，估值8亿美元。目前该TPU优化代码已全面开源，团队计划未来扩展至更多模型架构。
原文链接
本文链接：https://kx.umi6.com/article/38060.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
.png "38060")
相关推荐
.png)
换一换
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
2025-06-03 12:57:05
剑指AI芯片市场！大摩上调谷歌TPU产量预期：2027年或达500万块
2025-12-02 14:20:15
谷歌卷土重来：你大爷还是你大爷
2025-12-03 09:08:14
“AI新王”强势崛起！大摩：2027年谷歌TPU外销量或达100万颗
2025-11-27 13:36:45
英伟达要被“偷家”了？谷歌TPU业务迎重估 已接洽前者部分客户
2025-09-04 16:04:46
AI芯片竞赛升级！Meta据悉转向谷歌TPU 英伟达“王位”不稳？
2025-11-25 17:01:10
英伟达：祝贺谷歌TPU成功，但GPU领先一代
2025-11-26 12:40:30
谷歌TPU引爆“新DeepSeek时刻”，华尔街开始抛弃英伟达？
2025-11-26 01:16:37
AI芯片开启第二战场：谷歌TPU引爆博通股价 硅谷巨头集体“造铲”
2025-11-25 19:04:05
一个信号！苹果官宣：在谷歌TPU上训练其AI模型
2024-07-30 10:13:09
中信证券：英伟达GPU作为主流AI算力芯片的格局仍会保持不变
2025-12-10 09:37:35
大摩将谷歌2027年TPU产量预测从约300万块上调至500万块
2025-12-02 19:39:39
AI初创公司Inferact完成1.5亿美元种子轮融资
2026-01-23 18:11:40
760 文章
998269 浏览
24小时热文
更多
-
2026-09-26 17:18:03 -
2026-09-26 17:16:43
-
2026-09-26 16:17:09
