近日，vLLM原班人马创立的推理公司Inferact公布最新测试：用16块谷歌TPU v7运行Kimi K3模型，每秒生成709个Token，比同等数量的英伟达GB200 GPU快57%！该突破源于其自研的megakernel推理内核，将数百个小调度程序合并为一个大程序，消除带宽浪费，并深度融合DeepSeek的DSpark推测解码框架。在Qwen模型测试中，TPU优势更显著。Inferact今年初成立，已获a16z领投1.5亿美元融资，估值8亿美元。目前该TPU优化代码已全面开源，团队计划未来扩展至更多模型架构。

1月22日，AI初创公司Inferact宣布完成1.5亿美元种子轮融资，估值达8亿美元。本轮融资由Andreessen Horowitz与Lightspeed领投，真格基金、Sequoia Capital等多家硅谷顶级VC跟投。Inferact由开源软件vLLM核心团队创立，此轮融资将助力其在人工智能领域的进一步发展。