蚂蚁集团自主研发了名为Ling-Lite和Ling-Plus的百灵系列开源MoE模型,参数规模分别为168亿和2900亿。相比GPT-4.5的1.8万亿参数和DeepSeek-R1的6710亿参数,蚂蚁团队通过国产AI芯片和创新技术显著降低了训练成本,仅需508万元人民币。这一成果已发表于Arxiv平台,标志着蚂蚁加入全球AI科技竞争。
蚂蚁Ling团队在模型训练中采用了异构计算架构,利用国产AI芯片完成训练,而非完全依赖英伟达H800等高端GPU。团队通过构建9万亿token语料库、优化MoE架构及训练策略,结合DLRover分布式框架、XPUTimer调试工具和EDiT弹性训练技术,大幅提升了训练效率。例如,使用低规格硬件将1万亿token预训练成本降至508万元,较高性能硬件节约近20%。
实验结果显示,Ling-Lite在英语基准测试中优于Meta的Llama 3.1-8B,Ling-Plus则在中文测试中超越DeepSeek系列模型。此外,Ling-Plus在安全性和错误拒绝率方面表现均衡,优于其他模型。蚂蚁计划开源这两款模型,并将其应用于医疗、金融等领域。
尽管训练过程充满挑战,蚂蚁团队克服了稳定性等问题,展现了中国在AI领域的创新能力。彭博分析师指出,这项成果表明中国正逐步实现AI技术的自主化,同时规避英伟达芯片出口限制带来的影响。
原文链接
本文链接:https://kx.umi6.com/article/16007.html
转载请注明文章出处
相关推荐
.png)
换一换
蚂蚁集团发布 AI 健康应用 AQ:可看病症、看医生、看报告
2025-06-26 15:59:36
蚂蚁集团推出新款MoE大语言模型 使用国产AI芯片训练其性能与完全使用英伟达芯片、同规模稠密模型及MoE模型相当
2025-03-24 15:06:41
快手:AI大模型预计可把客户短视频营销素材制作成本降低60—70%
2025-03-25 20:14:48
中国有了自主研发的高性能芯片
2025-07-09 12:06:27
蚂蚁集团全力拥抱AI:大模型训练降本、一体机发布、智能眼镜招兵买马
2025-03-24 19:14:50
蚂蚁集团支付宝体验技术部开源智能编程助手 Neovate Code
2025-09-24 19:48:32
AI大模型看手相!图片视频加持深度思考,阿里QVQ-Max“神了神了”
2025-03-28 12:42:34
蚂蚁与中国人民大学发布首个原生MoE扩散语言模型
2025-09-12 11:12:20
上海市国资委召开市属金融机构AI大模型应用研讨会
2025-04-02 14:29:25
爆火的DeepSeek一体机,更多满足的是情绪价值
2025-03-29 00:11:22
从「造砖」到「盖楼」,谁在重新定义AI大模型
2025-06-23 18:27:05
持续突破 国产AI芯片抢夺市场窗口期
2025-09-16 07:07:01
消息称蚂蚁集团新设通用人工智能研究中心,一众“明星 AI 新秀”加盟
2025-07-24 22:13:39
557 文章
256816 浏览
24小时热文
更多

-
2025-10-23 21:15:29
-
2025-10-23 20:16:19
-
2025-10-23 20:15:12