标题:离线智能,什么时候迎来DeepSeek时刻?
过去两年,AI的发展主要围绕云端和端侧展开。理想中,轻量化模型将让AI摆脱云端束缚,实现设备上的贴身智能。然而现实是,无论是AI玩具还是AI眼镜,其核心交互依然依赖云端,真正实现离线AI的设备凤毛麟角。
技术演示中,端侧模型看似无所不能,但实际落地却困难重重。用户渴望即时响应、隐私保护和断网不失联,而端侧设备却受限于算力、功耗和内存。商业上,云端是巨头的技术标杆和利润来源,端侧则因回报不明朗被忽视。
今年的世界人工智能大会(WAIC)上,RockAI展示了他们的解决方案。这家公司致力于底层技术研发,甚至舍弃主流Transformer架构,在树莓派上实现了流畅运行的模型。最新推出的Yan 2.0 Preview仅30亿参数,却能实现多模态处理和本地记忆功能,并已进入量产阶段。
极客公园采访了RockAI联合创始人邹佳思,探讨了离线智能的挑战与前景。
为什么离线智能难以普及?
邹佳思指出,算力和功耗是两大障碍。高端模型需要旗舰芯片支持,但大多数设备无法满足这一要求。此外,基于Transformer架构的模型在端侧运行时发热严重,限制了其应用范围。硬件更新周期长,也让新技术难以快速普及。
为何重新设计架构?
Transformer的强大源于其“全局握手”机制,但这在端侧设备上效率低下。RockAI选择了一种全新的架构,保留Transformer的特征提取能力,同时用更适合端侧的机制替代高耗能的Attention模块。这种创新大幅降低了算力需求和功耗。
离线智能的价值何在?
离线智能具备云端无法替代的优势:绝对的隐私安全、极致的实时交互以及更低的成本。例如,无人机或机器人需要毫秒级响应,云端延迟可能导致致命问题;海量设备使用云端服务会产生巨额成本,而本地部署几乎无需额外费用。
未来的端侧模型会是什么样?
RockAI的核心创新是“分区激活”,通过动态激活神经网络的小部分区域,显著降低功耗。这种方式模拟人脑的分区工作原理,使得小参数模型也能高效处理多模态任务。此外,他们还实现了端侧模型的自主学习能力,通过低功耗反向传播更新模型权重,从而实现个性化记忆。
市场对离线智能的需求如何?
目前,PC、平板和机器人是RockAI的主要客户群体。这些厂商希望通过离线AI盘活存量设备,提升品牌价值并开拓中低端市场。至于AI眼镜和玩具,由于硬件限制,短期内仍需借助手机算力或等待下一代芯片。
海外市场对离线智能的需求更强烈,源于隐私保护意识、网络覆盖不足以及人力成本高昂。RockAI通过赋能中国出海企业,抓住了这一机遇。
面对未来竞争,RockAI的护城河是什么?
硬件升级虽不可避免,但RockAI凭借其独特的架构优势仍具竞争力。更重要的是,团队坚持创新基因和深耕端侧的决心,使他们在技术探索中积累了独特认知和经验,这成为其真正的护城河。
.png)

-
2025-07-27 15:57:31
-
2025-07-27 14:58:19
-
2025-07-27 14:57:09