1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
KTransformers入选计算机系统顶会、与主流框架合作,趋境&清华让「异构」成为推理新范式
2025年10月,KTransformers项目论文入选计算机系统顶会SOSP 2025,并与主流推理框架SGLang达成合作。该项目由趋境科技与清华大学KVCache.AI团队联合研发,是一款高性能异构推理框架,专注于CPU+GPU协同执行,显著降低大模型推理的硬件门槛。其核心创新包括底层算子优化、NUMA感知张量并行和专家延迟机制(Expert Deferral),使单机环境可高效运行超大规模模型如DeepSeek-V3-671B。此次与SGLang的合作实现了全GPU推理与异构推理的融合,为开发者提供更灵活的硬件选择。目前,KTransformers已在GitHub获得15.2K Star,被多个主流大模型及厂商推荐使用,致力于推动算力普惠与AI基础设施的普及。
数码游侠
10-23 10:01:08
KTransformers
MoE模型
异构推理
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序