1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

在科技领域,彭博及其团队开发的RWKV大模型经历了质疑、抄袭与魔改的挑战。尽管起初有部分人对其能力持怀疑态度,彭博并未受到这些声音的影响,而是坚持自己的道路,将Transformer架构改写为RNN形式,旨在降低时间空间复杂度。这一独特的路线使他们吸引了OpenAI的注意,后者发出的入职邀请被视为对彭博团队颠覆性潜力的一种认可。

然而,也有观点指出,RWKV架构与主流的Transformer架构并无本质区别。此外,彭博团队在融资过程中遇到困难,资本方对他们的支持度不高,有时将他们视为“野生科学家”。这些挑战导致了计算资源和人力的限制,影响了RWKV的性能指标。

尽管面临挑战,彭博依然坚定地走在自己的道路上。他得到了一位知名投资人的青睐,后者不仅亲自登门拜访,还提供了种子轮投资。彭博专注于探索AI的底层架构,尤其是创造力和智慧的提升,这与当前AI公司侧重机械智力提升有所不同。他通过改进Transformer架构,成功开发了RWKV系列模型,特别是在引入显式decay和短卷积后,RWKV-2应运而生。

彭博坚信,RWKV架构更接近人脑和宇宙的运作方式,其固定大小的state限制了模型的学习过程,迫使模型必须将世界压缩到其state内。这种设计理念与物理世界的locality和causality原则相吻合。此外,彭博还强调了RWKV架构的运行速度,以及其与Transformer架构在物理原理上的区别。

面对质疑与挑战,彭博保持乐观和平和的心态,认为时间是站在RWKV一边的。尽管资源限制影响了大模型的训练,但并未阻碍RWKV的迭代速度,反而成为了创新的动力。彭博期待未来RWKV系列模型的进一步发展,特别是RWKV8,将其视为一个充满可能性的创新产物。

彭博与罗璇的相遇,是两个不同领域的天才在AI领域的碰撞与合作。彭博的独到见解和创新精神,以及罗璇的执行力和组织能力,共同推动了RWKV架构的发展。两人携手面对非共识的挑战,坚信在AI领域存在着一条独特的道路,而这条道路将引领他们走向未来。

原文链接
本文链接:https://kx.umi6.com/article/7296.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
被质疑、抄袭、魔改,非主流大模型的诞生之路
2024-10-12 16:39:09
新紫光集团联席总裁陈杰:除了大模型以外的RWKV、JEPA等新算法架构 也可能演变成未来通向通用人工智能的有效手段
2024-11-18 13:25:02
蚂蚁开源 Ring-1T,成就推理、编程、通用智能三冠王
2025-10-24 11:36:00
谷歌放大招!Gemini「吞下」2.5亿地图数据,路痴AI一夜成精
2025-10-24 11:33:27
AI 系统“闹乌龙”:美国一学生手中的薯片被误识别为枪支,一度惊动警察
2025-10-25 16:29:56
高盛:对冲基金对AI投资敞口达到近9年来新高 押注亚股和美股将上涨
2025-10-24 18:49:20
智元「灵创」平台来了!0 代码、0 门槛,人人都是机器人训练大师
2025-10-24 17:46:58
OpenAI进军音乐模型!全球科技巨头竞逐AI“旋律革命”
2025-10-25 18:37:15
友情明码标价,他们花钱「租网友聊天」
2025-10-25 08:14:19
AI犯下大错!美国高中生吃薯片被识别成枪支:惊动八辆警车吓坏了
2025-10-26 18:24:12
中国机器人这么玩儿,把老外都整不会了
2025-10-24 14:37:56
微软 AI 部门 CEO 苏莱曼:我们要开发出能让家长放心给孩子用的 AI
2025-10-24 14:40:25
快手进军AI编程!“模型+工具+平台”一口气放三个大招
2025-10-24 16:44:56
24小时热文
更多
扫一扫体验小程序