12月6日，xLLM社区将在北京举办主题为“共建开源 AI Infra 生态”的线下Meetup。作为成立仅三个月的新兴社区，xLLM首次全面展示其技术愿景、核心规划及生态全景，定位为下一代大模型推理引擎框架，支持多元化AI场景，如大语言模型、多模态生成、文生图和文生视频等。活动将揭秘其创新架构及未来演进方向，并分享与京东11.11大促合作提升业务效率5倍的成果。清华大学副教授章明星将解读Mooncake存储方案，北京智源人工智能研究院门春雷探讨硬件优化实践。xLLM已开源，适配国产算力，与昇腾合作探索高性能推理方案，未来还将联合清华、北大等产学研伙伴推动AI生态协同创新。诚邀开发者、研究者及行业伙伴参与交流。

标题：KTransformers 成主流大模型推理引擎，单卡跑万亿模型 正文： 趋境科技与清华联合开源的高性能异构推理框架 KTransformers，已成为 Qwen、Kimi、智谱 AI 等主流大模型的推荐推理引擎，并被多家硬件厂商采纳。其技术实力获国际认可，论文入选“计算机系统领域奥斯卡”...

斯坦福大模型推理课免费开放，谷歌推理团队创始人主讲 量子位 | 公众号 QbitAI 干货来了！谷歌DeepMind推理负责人Denny Zhou在斯坦福大学CS25课程上分享了关于大模型推理的精彩内容。这位Google Brain推理团队的创建者曾与清华姚班马腾宇等人证明：只要思维链足够长，T...

标题：纯靠“脑补”图像，大模型推理准确率提升80%！剑桥谷歌新研究 正文： 不再依赖语言，仅凭图像就能完成模型推理？大模型再创SOTA！ 当你玩超级玛丽时，会根据画面自动规划步骤，但传统语言模型还需先转成文字指令，效率低且易丢信息。有方法能跳过“语言中介”吗？ 剑桥、伦敦大学学院与谷歌团...

3月14日，清华大学高性能计算研究所团队与清程极智联合宣布开源大模型推理引擎‘赤兔 Chitu’。该引擎首次实现在非Hopper架构GPU及国产芯片上原生运行FP8精度模型，使DeepSeek推理成本减半、性能翻倍。它支持NVIDIA多代产品及国产芯片优化，适用于CPU、单GPU到大规模集群部署，具备高稳定性，可满足生产环境需求。测试显示，部署DeepSeek-R1-671B满血版时，A800集群中赤兔引擎比某些国外开源框架节省50% GPU资源，推理速度提升3.15倍。该项目已在GitHub开源。

《科创板日报》14日消息，清华大学高性能计算研究所翟季冬教授团队与清程极智联合开源大模型推理引擎‘赤兔Chitu’。该引擎支持非英伟达Hopper架构GPU及国产芯片原生运行FP8精度模型。此次开源版本专注于解决市场急需的问题，即高效无损地将DeepSeek-R1 FP8精度模型部署至存量英伟达GPU。同时，针对多款国产芯片优化的版本也在计划开源中。此成果为AI模型推理提供了新的解决方案，具有重要技术突破和应用价值。

2月11日，在阿联酋迪拜举行的“世界政府峰会”上，百度创始人李彦宏谈及DeepSeek时表示，大模型推理成本每年降低90%以上。李彦宏强调，创新通常与降低成本相关，这使得生产力同步提升。此外，据IT之家报道，百度文小言App已接入DeepSeek-R1模型，提升了拍照解题功能。

标题：Deepseek大模型推理算法其实很简单 性能顶级的Deepseek大模型开源后，人们轻松地将其部署使用。在配置一般的联想PC上，安装7B参数版本的Deepseek R1已成功。最强的671B版本需要更高配置，但也完全可行。 大模型开发包括训练和推理两部分，推理是较易的部分。有了权重文件，大模...

微软开源了一款名为BitNet b1.58的大模型推理框架，这一框架将传统16位浮点数模型参数压缩成三进制{-1, 0, 1}，每个参数只需1.58位信息表示。这使得模型在保持一定精度的同时，大幅减少了存储空间和计算资源需求，甚至能在单个CPU上运行千亿参数模型，速度达到每秒5-7个token。 该...

标题：大模型推理能力的脆弱性揭示 一个月前，OpenAI发布的o1在处理复杂推理任务时展现出非凡能力，尤其在解答难度极高的数学问题时表现出色。然而，最近的研究揭示了大模型推理能力的脆弱性。 一篇名为《理解大语言模型在数学推理的局限性》的论文指出，向大模型提出的问题中加入无关信息，即使是简单的小学数学...