华为昇腾在推理DeepSeek V3/R1模型上的性能创新高，单卡decode吞吐达1920 Tokens/s，全面超越英伟达Hopper架构。华为通过‘以数学补物理’的方法，优化硬件与算法，解决超大规模MoE模型的内存压力、通信开销及架构复杂性等问题。昇腾推出了CloudMatrix 384超节点和Atlas 800I A2服务器，分别实现50ms和100ms时延下的高效推理。团队还开源了相关技术报告与代码，推动大模型推理技术进步。此外，华为将于近期举办技术披露周，更多信息可关注相关链接。此成果于2025年4月正式上线，助力商业应用抢占先机。

标题：华为+DeepSeek，推理性能创新高！ 正文： 部署超大规模MoE这件事，国产芯片的推理性能再创新高了——不仅是“英伟达含量为0”，更是性能全面超越英伟达Hopper架构！ 实现这一点的是华为昇腾，具体包含两个产品： - CloudMatrix 384超节点：部署DeepSeek V3/R1...

xAI的Grok-3 AI有望下周发布，据testingcatalog报道，该模型已在独立平台和X平台短暂亮相并开启内部测试。测试显示Grok-3在回答问题方面的表现超越了OpenAI o1和DeepSeek R1等模型。xAI公司希望Grok-3能基于事实和真理，从基本原则理解世界，形成理性和怀疑的观点。系统提示词强调以用户为中心，优先提供数据、证据和统计数据支持答案，并倾向于使用X平台作为主要信息来源。Grok-3或将成为迄今为止最先进的AI模型。

LLMs推理性能受输出格式影响，其中JSON格式导致的性能下降最为显著。一项研究揭示了在两种提示条件下，大语言模型解同一道数学题的情况。在"思维链prompt"下，模型按步骤推理并给出答案，而在"格式限制prompt"下，要求以JSON格式输出，尽管正确答案为460，但格式限制反而降低了推理能力。研...