斯坦福大模型推理课免费开放，谷歌推理团队创始人主讲 量子位 | 公众号 QbitAI 干货来了！谷歌DeepMind推理负责人Denny Zhou在斯坦福大学CS25课程上分享了关于大模型推理的精彩内容。这位Google Brain推理团队的创建者曾与清华姚班马腾宇等人证明：只要思维链足够长，T...

标题：纯靠“脑补”图像，大模型推理准确率提升80%！剑桥谷歌新研究 正文： 不再依赖语言，仅凭图像就能完成模型推理？大模型再创SOTA！ 当你玩超级玛丽时，会根据画面自动规划步骤，但传统语言模型还需先转成文字指令，效率低且易丢信息。有方法能跳过“语言中介”吗？ 剑桥、伦敦大学学院与谷歌团...

3月14日，清华大学高性能计算研究所团队与清程极智联合宣布开源大模型推理引擎‘赤兔 Chitu’。该引擎首次实现在非Hopper架构GPU及国产芯片上原生运行FP8精度模型，使DeepSeek推理成本减半、性能翻倍。它支持NVIDIA多代产品及国产芯片优化，适用于CPU、单GPU到大规模集群部署，具备高稳定性，可满足生产环境需求。测试显示，部署DeepSeek-R1-671B满血版时，A800集群中赤兔引擎比某些国外开源框架节省50% GPU资源，推理速度提升3.15倍。该项目已在GitHub开源。

《科创板日报》14日消息，清华大学高性能计算研究所翟季冬教授团队与清程极智联合开源大模型推理引擎‘赤兔Chitu’。该引擎支持非英伟达Hopper架构GPU及国产芯片原生运行FP8精度模型。此次开源版本专注于解决市场急需的问题，即高效无损地将DeepSeek-R1 FP8精度模型部署至存量英伟达GPU。同时，针对多款国产芯片优化的版本也在计划开源中。此成果为AI模型推理提供了新的解决方案，具有重要技术突破和应用价值。

2月11日，在阿联酋迪拜举行的“世界政府峰会”上，百度创始人李彦宏谈及DeepSeek时表示，大模型推理成本每年降低90%以上。李彦宏强调，创新通常与降低成本相关，这使得生产力同步提升。此外，据IT之家报道，百度文小言App已接入DeepSeek-R1模型，提升了拍照解题功能。

标题：Deepseek大模型推理算法其实很简单 性能顶级的Deepseek大模型开源后，人们轻松地将其部署使用。在配置一般的联想PC上，安装7B参数版本的Deepseek R1已成功。最强的671B版本需要更高配置，但也完全可行。 大模型开发包括训练和推理两部分，推理是较易的部分。有了权重文件，大模...

微软开源了一款名为BitNet b1.58的大模型推理框架，这一框架将传统16位浮点数模型参数压缩成三进制{-1, 0, 1}，每个参数只需1.58位信息表示。这使得模型在保持一定精度的同时，大幅减少了存储空间和计算资源需求，甚至能在单个CPU上运行千亿参数模型，速度达到每秒5-7个token。 该...

标题：大模型推理能力的脆弱性揭示 一个月前，OpenAI发布的o1在处理复杂推理任务时展现出非凡能力，尤其在解答难度极高的数学问题时表现出色。然而，最近的研究揭示了大模型推理能力的脆弱性。 一篇名为《理解大语言模型在数学推理的局限性》的论文指出，向大模型提出的问题中加入无关信息，即使是简单的小学数学...

AI初创公司"硅基流动"近日完成近亿元天使+轮融资，由知名产业方领投，包括智谱AI、360等在内的多家企业跟进，创始人袁进辉表示将加速产品创新，提供易用的AI云服务。该公司专注AI基础设施，旨在优化大模型训练与推理效率，降低开发门槛。此前，袁进辉曾领导OneFlow推出高性能深度学习框架，后创立硅基流动，聚焦大模型推理领域。6月，硅基流动推出一站式大模型API云服务平台SiliconCloud，集成多种大模型，日调用量快速增长，且已获得行业顶级合作伙伴的认可。未来，公司计划拓展海外市场。

在 WWDC 上，苹果宣布了其AI战略，并面临手机内存限制在本地运行大型模型的挑战。为了解决这一问题，苹果发布了一篇关键论文，介绍如何在iPhone的8GB内存限制下，通过利用FFN层的稀疏性、低秩预测器、滑动窗口动态加载（Windowing）和行列捆绑存储（Bundling）技术，将大模型推理效率提升。例如，6.7B参数的模型在M1 Max上通过这些优化能在6.5GB内存中运行14.3GB模型，提升了20-25倍的推理速度，且I/O延迟大幅降低。苹果作为端侧AI的领导者，有望在AI时代继续保持创新，推动更多实际应用。