1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

在科技领域,彭博及其团队开发的RWKV大模型经历了质疑、抄袭与魔改的挑战。尽管起初有部分人对其能力持怀疑态度,彭博并未受到这些声音的影响,而是坚持自己的道路,将Transformer架构改写为RNN形式,旨在降低时间空间复杂度。这一独特的路线使他们吸引了OpenAI的注意,后者发出的入职邀请被视为对彭博团队颠覆性潜力的一种认可。

然而,也有观点指出,RWKV架构与主流的Transformer架构并无本质区别。此外,彭博团队在融资过程中遇到困难,资本方对他们的支持度不高,有时将他们视为“野生科学家”。这些挑战导致了计算资源和人力的限制,影响了RWKV的性能指标。

尽管面临挑战,彭博依然坚定地走在自己的道路上。他得到了一位知名投资人的青睐,后者不仅亲自登门拜访,还提供了种子轮投资。彭博专注于探索AI的底层架构,尤其是创造力和智慧的提升,这与当前AI公司侧重机械智力提升有所不同。他通过改进Transformer架构,成功开发了RWKV系列模型,特别是在引入显式decay和短卷积后,RWKV-2应运而生。

彭博坚信,RWKV架构更接近人脑和宇宙的运作方式,其固定大小的state限制了模型的学习过程,迫使模型必须将世界压缩到其state内。这种设计理念与物理世界的locality和causality原则相吻合。此外,彭博还强调了RWKV架构的运行速度,以及其与Transformer架构在物理原理上的区别。

面对质疑与挑战,彭博保持乐观和平和的心态,认为时间是站在RWKV一边的。尽管资源限制影响了大模型的训练,但并未阻碍RWKV的迭代速度,反而成为了创新的动力。彭博期待未来RWKV系列模型的进一步发展,特别是RWKV8,将其视为一个充满可能性的创新产物。

彭博与罗璇的相遇,是两个不同领域的天才在AI领域的碰撞与合作。彭博的独到见解和创新精神,以及罗璇的执行力和组织能力,共同推动了RWKV架构的发展。两人携手面对非共识的挑战,坚信在AI领域存在着一条独特的道路,而这条道路将引领他们走向未来。

原文链接
本文链接:https://kx.umi6.com/article/7296.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
东吴证券:AI需求带动设备供应链 先进制程持续扩产
2025-07-21 09:16:17
印度球星疯狂迷恋“温网美女” 不料对方竟是AI:火速取关遭群嘲
2025-07-21 19:24:17
GPT-5 踪迹渐现:OpenAI 被曝测试“gpt-5-reasoning-alpha-2025-07-13”新模型
2025-07-19 21:58:20
24小时热文
更多
扫一扫体验小程序