
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
IBM于10月2日推出Granite 4.0系列企业级LLM模型,采用Mamba-Transformer混合架构,显著降低内存需求与推理部署成本。首发型号包括Small、Tiny、Micro等规格,未来更多版本预计在2025年底发布。该系列最小模型Granite-4.0-H-Micro参数仅3B,而Granite-4.0-H-Small以32B总参数实现开源模型一流性能。混合架构在长输入和多并发场景下减少70%内存需求,且性能优于上一代Granite 3.3 8B。IBM以Apache 2.0许可开源该系列模型,并提供ISO 42001认证及加密签名支持。
原文链接
2025年8月20日,DeepSeek悄然发布V3.1版本模型,未召开发布会却引发技术与投资圈热议。新模型在Aider编程基准测试中以71.6%的得分超越Claude 4 Opus,成本仅1.01美元,为后者1/68。其架构创新(如移除“R1”标识、新增特殊Token)暗示可能采用“混合架构”,对AI产业格局带来深远影响。投资者需关注四大问题:开源与闭源的终局之战是否进入“混合态”;“混合架构”是否成为下一代技术护城河;推理成本骤降如何推动AI应用层爆发;以及性能之外,“企业级就绪度”和垂直领域优化或成决胜关键。此次更新不仅改变竞争格局,还可能重塑整个AI产业链的价值分布。
原文链接
MiniMax M1全球技术闭门会探讨了RL、混合架构及长上下文的前沿话题。
RL能否赋予模型新能力?
RL在有限上下文长度下能提升模型能力,通过改变输出分布优化性能。例如,预训练需10万token解决的问题,经RL可能仅需1万token。然而,Reward Modeling仍是核心瓶颈,尤其是非结...
原文链接
标题:Mamba混合架构让显存消耗减半,轻松处理10万视频token
长视频理解迎来新突破!滑铁卢大学陈文虎团队联合多家机构推出Mamba-Transformer混合模型Vamba。不同于传统压缩视频token的方式,Vamba通过优化架构设计,提升了处理视频token的效率。实验显示,Vamb...
原文链接
2月27日,腾讯发布混元新一代快思考模型Turbo S,该模型能实现“秒回”,吐字速度提升一倍,首字时延降低44%。Turbo S在知识、数学、推理等领域效果对标DeepSeek V3、GPT 4o、Claude等模型。该模型采用Hybrid-Mamba-Transformer架构,显著降低计算复杂度和KV-Cache缓存占用,实现成本下降。这是首次将Mamba架构无损应用于超大型MoE模型。Turbo S将成为腾讯混元系列衍生模型的核心基座,未来可为推理、长文、代码等模型提供基础能力。即日起一周内,开发者和企业用户可在腾讯云上免费试用,定价为输入0.8元/百万tokens,输出2元/百万tokens。
原文链接
加载更多

暂无内容