谷歌TPU跑Kimi比英伟达GPU快57%！用的还是DeepSeek推理框架

2026-09-26 16:15:37

智慧轨迹

发布在

快讯

阅读：1614

近日，vLLM原班人马创立的推理公司Inferact公布最新测试：用16块谷歌TPU v7运行Kimi K3模型，每秒生成709个Token，比同等数量的英伟达GB200 GPU快57%！该突破源于其自研的megakernel推理内核，将数百个小调度程序合并为一个大程序，消除带宽浪费，并深度融合DeepSeek的DSpark推测解码框架。在Qwen模型测试中，TPU优势更显著。Inferact今年初成立，已获a16z领投1.5亿美元融资，估值8亿美元。目前该TPU优化代码已全面开源，团队计划未来扩展至更多模型架构。

原文链接

本文链接：https://kx.umi6.com/article/38060.html

转载请注明文章出处

Inferact