标题:现在的大模型现状,就是豪赌
现在的大模型现状可以用一个词总结——豪赌。若能成功,未来前景广阔。
2023年,大模型强调Scaling Law;2024年,该理论面临挑战。2025年起,传统路径难以持续,需探索新方向。这条路充满不确定性和高成本,但潜力巨大。
去年我们假设有一条清晰的Scaling Law路径,但现在数据成为瓶颈,合成数据无法大幅提升知识广度,反哺Pre-train的路径停滞。
当前可能成功的Scaling Law在于O系列模型的Post-train阶段,通过RL让模型学会自主和自适应的COT。实现Self-play的RL,用算力换取数据,如AlphaZero通过自博弈超越人类水平。
然而,超大规模Self-play RL的效果尚未验证,Post-train RL泛化路径也未找到。目前最大的瓶颈是算力,需要大量算力进行实验以验证或证伪O系列的Scaling Law。
未来,头部大模型公司期待GB和NVL72的大集群,以指数级算力提升尝试Self-play RL。若成功,将开启新阶段;若失败,则可能遭遇重大挑战。
因此,这是一场豪赌,没有明确回报。前沿研究充满未知,但机遇往往诞生于高风险中。
原文链接
本文链接:https://kx.umi6.com/article/12106.html
转载请注明文章出处
相关推荐
.png)
换一换
茅台基金,投了“清华系”大模型企业
2025-05-25 07:56:07
国产大模型高考裸分683:选清华 还是北大
2025-06-27 17:18:09
大模型公司挖墙脚哪家强?报告:Anthropic人才吸引力是OpenAI的8倍,留存率达80%
2025-06-05 13:49:32
444 文章
62130 浏览
24小时热文
更多

-
2025-07-19 15:54:36
-
2025-07-19 15:54:26
-
2025-07-19 14:57:21