《科创板日报》10日讯,小红书开源首个大模型dots.llm1,该模型为1420亿参数的混合专家模型(MoE),在推理时仅激活140亿参数,从而在保证高性能的同时显著降低训练和推理成本。值得注意的是,dots.llm1在预训练阶段采用11.2万亿非合成数据,这使其在中英文、数学及对齐任务上的表现接近阿里Qwen3-32b。
原文链接
本文链接:https://kx.umi6.com/article/19964.html
转载请注明文章出处
相关推荐
.png)
换一换
小米下场!DeepSeek催热“百镜大战” 消费电子迎全新机遇
2025-02-07 09:56:04
Meta 发布 Multi-SpatialMLLM:多模态 AI 突破空间理解瓶颈
2025-05-29 14:33:07
重大利好?白宫“AI沙皇”:美国无需对盟友限制芯片出口!
2025-05-13 23:00:47
444 文章
62090 浏览
24小时热文
更多

-
2025-07-18 23:46:25
-
2025-07-18 22:47:06
-
2025-07-18 22:46:21