综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
标题:中科院实现国产 GPU 上 76B 类脑大模型突破
正文:
近年来,Transformer 几乎垄断了大模型领域,但它在处理超长文本时计算量和内存消耗巨大,且行业严重依赖 NVIDIA 的 GPU 和 CUDA 生态。为突破这些限制,业界不断探索新方向。最近,中科院团队提出了一种全新类脑大...
原文链接
9月8日,中国科学院自动化研究所李国齐、徐波团队与沐曦MetaX合作推出全球首款类脑脉冲大模型“瞬悉1.0”(SpikingBrain-1.0)。该模型在国产千卡GPU算力平台上完成全流程训练和推理,实现超长序列推理效率和速度的数量级提升,并开源SpikingBrain-1.0-7B模型及开放SpikingBrain-1.0-76B测试网址。研究借鉴大脑神经元复杂工作机制,提出基于内生复杂性的架构方式,揭示线性注意力机制与树突计算的联系,为提升模型性能提供新路径。这一成果标志着我国在类脑计算与大模型融合创新领域取得重要突破,为法律、医疗、科学模拟等场景提供高效工具,同时启迪下一代神经形态计算理论和芯片设计。
原文链接
加载更多
暂无内容