标题：KTransformers 成主流大模型推理引擎，单卡跑万亿模型

正文：
趋境科技与清华联合开源的高性能异构推理框架 KTransformers，已成为 Qwen、Kimi、智谱 AI 等主流大模型的推荐推理引擎，并被多家硬件厂商采纳。其技术实力获国际认可，论文入选“计算机系统领域奥斯卡”SOSP 2025。

KTransformers 专注于高效利用 GPU、CPU 和内存等多样化算力，让大模型在低算力设备上也能流畅运行。例如，在月之暗面发布的 Kimi-K2-Thinking 模型中，KTransformers 支持单卡推理和 2 卡 LoRA 微调，大幅降低部署门槛。同时，该框架已完成对国产昇腾 NPU 的适配，提供全国产化推理解决方案。

在推理层面，KTransformers 与主流框架 SGLang 合作，用户只需简单安装相关组件即可通过单张消费级 GPU+CPU 运行模型。在微调层面，KTransformers 集成 LLaMA-Factory，支持轻量级微调方法，仅需消费级 GPU（如 RTX 4090）即可完成千亿参数模型的微调任务，显存占用降低 82%，吞吐量提升 1.8 倍。

趋境科技以“普惠顶尖 AI 智能与隐私”为理念，与多个国产硬件平台合作，推动高性价比算力方案落地，助力高校、实验室及中小企业参与大模型开发。KTransformers 让大模型推理摆脱高端算力依赖，未来将推动 AI 能力更广泛融入实际业务场景。

雷峰网版权文章，未经授权禁止转载。