综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
正文:2026年2月,智谱AI公开GLM-5技术论文,全面解析其架构、训练方法及芯片适配能力。GLM-5引入DeepSeek同款稀疏注意力机制(DSA),大幅降低计算成本并提升长上下文处理能力,同时通过异步强化学习基础设施优化训练效率。此外,GLM-5完成与华为昇腾等国产芯片的全栈适配,引发国内外广泛关注。在多项评测中,GLM-5表现优异,尤其在SWE-bench Verified榜单上得分77.8%,成为开源模型中的新标杆。论文发布后,海外用户甚至将其作为教程学习,进一步验证中国AI技术实力。
原文链接
2026年2月,智谱AI的下一代旗舰大模型GLM-5架构细节被开源社区曝光,采用DeepSeek-V3/V3.2架构,包括稀疏注意力机制(DSA)和多Token预测(MTP),总参数量745B,是上一代GLM-4.7的两倍。GLM-5支持202K上下文窗口,复用DeepSeek架构使其可直接受益于现有推理框架优化。与此同时,OpenRouter平台上的匿名模型“Pony Alpha”因强劲编程与推理能力引发热议,91%用户认为其为GLM-5测试版。受此影响,智谱AI港股两日暴涨近60%。GLM-5预计春节前后发布,将与DeepSeek新模型、Qwen 3.5等同期上线,竞争激烈。
原文链接
2026年2月9日,小米MiMo团队推出面向Agent时代的混合稀疏注意力架构HySparse,采用“极少全注意力+稀疏注意力”设计,为超长文本处理提供高效解决方案。随着Agent模型快速发展,精准处理超长上下文成为关键挑战,不仅需稳定检索与推理,还需快速响应。HySparse在7B和80B模型规模中均表现优异,在80B-A3BMoE实验中,仅保留5层全注意力即可提升性能并降低KV Cache存储近10倍。RULER测试显示其能稳定访问长距离信息,兼顾效果与效率。该架构是MiMo-V2-Flash的升级版,兼容且互补,未增加计算开销。小米MiMo计划进一步验证其潜力,推动学术与工业界研究。
原文链接
小米MiMo团队推出了一种名为HySparse的混合稀疏注意力架构,显著优化了AI模型的性能。HySparse通过仅保留少量全注意力(Full Attention)层进行“token选择+KV Cache”,其余稀疏注意力(Sparse Attention)层复用这些信息,从而高效处理长上下文建模。...
原文链接
标题:清华刘知远团队论文:最小化结构改动,短文本到长文本丝滑升级 | ICLR 2026
正文:
大语言模型的“上下文长度”已成为制约其能力的关键瓶颈。长文档理解、跨轮对话记忆等任务对序列长度的需求远超传统4k或8k,而Transformer架构的全注意力机制在序列增长时带来平方级计算与显存开销...
原文链接
美团龙猫LongCat系列推出全新稀疏注意力机制LoZA(LongCat ZigZag Attention),显著提升长文本处理能力。新技术将上下文窗口扩展至1M,解码速度比之前快10倍,且在256K文本预加载时提速超50%。
全注意力机制因平方级计算复杂度(O(L²))难以高效处理长文本。LoZA...
原文链接
12月1日,DeepSeek发布两款新模型——DeepSeek V3.2和DeepSeek-V3.2-Speciale。前者性能与GPT-5相当,后者更在多项基准测试中追平闭源模型天花板Gemini,并在IMO 2025、CMO 2025等竞赛中斩获金牌。此次更新通过稀疏注意力(DSA)优化长文本处理能力,显著降低计算成本,同时强化后训练阶段投入超10%总算力提升模型表现。此外,DeepSeek优化了工具调用逻辑,改进Agent能力,并推出支持深度思考的特殊版本Speciale。尽管其Token消耗量较高,但价格仅为Gemini的1/20,性价比突出。DeepSeek持续以算法创新缩小开源与闭源模型差距,展现技术巧思。
原文链接
2025年9月30日,DeepSeek发布最新模型DeepSeek-V3.2-Exp,引入全新稀疏注意力机制DeepSeek Sparse Attention(DSA),显著提升长文本处理效率与推理性能,同时开源TileLang和CUDA双版本GPU算子,便于社区研究与迭代。官方App、网页端、小程序均已同步更新,并推出API 5折起优惠活动。此外,DeepSeek-V3.2-Exp在多项公开测评中表现与前代V3.1-Terminus持平,但在处理128K长上下文时成本更低。同日,智谱GLM-4.6也被曝光正在开发中,其上一代旗舰GLM-4.5已标注为旧版。国庆前夕,AI领域竞争愈发激烈。
原文链接
2025年9月29日,DeepSeek正式发布并开源实验性版本V3.2-Exp,引入稀疏注意力机制优化长文本处理效率。中信建投分析师评价其易用性大幅提升。此次更新同步上线官方App、网页端和小程序,API价格大幅降低,开发者调用成本减少超50%。同时,DeepSeek开源TileLang与CUDA双版本GPU算子,建议社区使用TileLang版本以加速研究迭代。TileLang由北大团队开发,显著减少代码量且性能持平。此外,阿里云发布七款大模型产品,包括Qwen3-Max;智谱GLM-4.6即将发布;月之暗面Kimi推出Agent模式“OK Computer”灰度测试,强化智能体能力。
原文链接
2025年9月29日,DeepSeek正式发布实验性版本V3.2-Exp,并开源。该版本引入稀疏注意力机制,优化长文本训练与推理效率,同时支持TileLang和CUDA两种GPU算子版本。API价格大幅下调,输入和输出成本降低超50%。中信建投分析师评价其易用性显著提升。官方表示,新模型在基准测试中表现与前代相当。此外,TileLang编程语言由北大团队开发,可大幅提升开发效率。同日,阿里云发布Qwen3-Max等七款大模型产品,智谱GLM-4.6即将上线,月之暗面Kimi推出Agent模式“OK Computer”灰度测试。
原文链接
加载更多
暂无内容