1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

在科技领域,彭博及其团队开发的RWKV大模型经历了质疑、抄袭与魔改的挑战。尽管起初有部分人对其能力持怀疑态度,彭博并未受到这些声音的影响,而是坚持自己的道路,将Transformer架构改写为RNN形式,旨在降低时间空间复杂度。这一独特的路线使他们吸引了OpenAI的注意,后者发出的入职邀请被视为对彭博团队颠覆性潜力的一种认可。

然而,也有观点指出,RWKV架构与主流的Transformer架构并无本质区别。此外,彭博团队在融资过程中遇到困难,资本方对他们的支持度不高,有时将他们视为“野生科学家”。这些挑战导致了计算资源和人力的限制,影响了RWKV的性能指标。

尽管面临挑战,彭博依然坚定地走在自己的道路上。他得到了一位知名投资人的青睐,后者不仅亲自登门拜访,还提供了种子轮投资。彭博专注于探索AI的底层架构,尤其是创造力和智慧的提升,这与当前AI公司侧重机械智力提升有所不同。他通过改进Transformer架构,成功开发了RWKV系列模型,特别是在引入显式decay和短卷积后,RWKV-2应运而生。

彭博坚信,RWKV架构更接近人脑和宇宙的运作方式,其固定大小的state限制了模型的学习过程,迫使模型必须将世界压缩到其state内。这种设计理念与物理世界的locality和causality原则相吻合。此外,彭博还强调了RWKV架构的运行速度,以及其与Transformer架构在物理原理上的区别。

面对质疑与挑战,彭博保持乐观和平和的心态,认为时间是站在RWKV一边的。尽管资源限制影响了大模型的训练,但并未阻碍RWKV的迭代速度,反而成为了创新的动力。彭博期待未来RWKV系列模型的进一步发展,特别是RWKV8,将其视为一个充满可能性的创新产物。

彭博与罗璇的相遇,是两个不同领域的天才在AI领域的碰撞与合作。彭博的独到见解和创新精神,以及罗璇的执行力和组织能力,共同推动了RWKV架构的发展。两人携手面对非共识的挑战,坚信在AI领域存在着一条独特的道路,而这条道路将引领他们走向未来。

原文链接
本文链接:https://kx.umi6.com/article/7296.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
新紫光集团联席总裁陈杰:除了大模型以外的RWKV、JEPA等新算法架构 也可能演变成未来通向通用人工智能的有效手段
2024-11-18 13:25:02
挖漏洞何必Mythos,国产智能体早跑通了
2026-04-23 08:53:48
Deepseek官网公布deepseek-v4接口文档
2026-04-24 11:10:00
荣耀WIN游戏本等多款新品正式发布,荣耀PC家族全面爆发
2026-04-24 17:20:32
行业景气度高位运行 光模块企业扩产忙
2026-04-23 07:55:30
联检科技等成立新公司 含AI及物联网业务
2026-04-24 15:19:39
德银警示氦气供应风险
2026-04-24 17:27:38
高盛警告:标普500指数已经约等于半个“AI指数”
2026-04-24 19:29:38
仅靠219个字!AI耗时12小时设计出完整CPU:传统研发需18-36个月
2026-04-24 17:26:33
PixVerse 成为联合国 2026 AI for Good 全球峰会AI合作伙伴
2026-04-23 14:07:34
Coordination Engineering关键一环,JiuwenClaw再发布Team Skills技能新范式
2026-04-24 15:16:25
国家人工智能产业投资基金等入股黑湖科技
2026-04-23 11:03:52
阿里云百炼上线DeepSeek-V4
2026-04-24 20:31:56
24小时热文
更多
扫一扫体验小程序