《科创板日报》10日讯,小红书开源首个大模型dots.llm1,该模型为1420亿参数的混合专家模型(MoE),在推理时仅激活140亿参数,从而在保证高性能的同时显著降低训练和推理成本。值得注意的是,dots.llm1在预训练阶段采用11.2万亿非合成数据,这使其在中英文、数学及对齐任务上的表现接近阿里Qwen3-32b。
原文链接
本文链接:https://kx.umi6.com/article/19964.html
转载请注明文章出处
相关推荐
.png)
换一换
腾讯发布混元3D世界模型1.0:首个支持物理仿真的开源世界生成系统
2025-08-01 09:00:10
大模型套壳往事
2025-07-14 18:26:03
马斯克宣布Grok-2正式开源 Grok-3也将在大概6个月内开源
2025-08-24 18:18:35
阿里云通义千问 Qwen3-Coder 宣布开源:480B 参数、原生支持 256K 上下文,可与 Claude Sonnet4 媲美
2025-07-23 08:44:56
字节跳动扣子 Coze 宣布开源:采用 Apache 2.0 许可证,支持商用
2025-07-26 15:40:54
DeepSeek删豆包冲上热搜,大模型世子之争演都不演了
2025-08-21 13:31:42
阿里云副总裁叶杰平:大模型已呈现“周级迭代”爆发态势
2025-07-27 13:59:57
大模型又迎来重要玩家!美团首个开源大模型来了
2025-09-01 18:28:28
数字人,正在逼近盈利线
2025-07-17 12:20:37
2025WAIC:大厂回归,医疗AI爆火出圈
2025-07-30 15:47:42
中国企业调用大模型日均超10万亿Tokens
2025-09-01 12:17:48
大模型低调出展,机器人各出奇招
2025-07-26 22:49:04
上海累计82款大模型通过备案
2025-07-10 11:28:53
507 文章
168096 浏览
24小时热文
更多

-
2025-09-06 15:35:56
-
2025-09-06 15:35:37
-
2025-09-06 14:35:37