1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

标题:离线智能,什么时候迎来DeepSeek时刻?

过去两年,AI的发展主要围绕云端和端侧展开。理想中,轻量化模型将让AI摆脱云端束缚,实现设备上的贴身智能。然而现实是,无论是AI玩具还是AI眼镜,其核心交互依然依赖云端,真正实现离线AI的设备凤毛麟角。

技术演示中,端侧模型看似无所不能,但实际落地却困难重重。用户渴望即时响应、隐私保护和断网不失联,而端侧设备却受限于算力、功耗和内存。商业上,云端是巨头的技术标杆和利润来源,端侧则因回报不明朗被忽视。

今年的世界人工智能大会(WAIC)上,RockAI展示了他们的解决方案。这家公司致力于底层技术研发,甚至舍弃主流Transformer架构,在树莓派上实现了流畅运行的模型。最新推出的Yan 2.0 Preview仅30亿参数,却能实现多模态处理和本地记忆功能,并已进入量产阶段。

极客公园采访了RockAI联合创始人邹佳思,探讨了离线智能的挑战与前景。

为什么离线智能难以普及?

邹佳思指出,算力和功耗是两大障碍。高端模型需要旗舰芯片支持,但大多数设备无法满足这一要求。此外,基于Transformer架构的模型在端侧运行时发热严重,限制了其应用范围。硬件更新周期长,也让新技术难以快速普及。

为何重新设计架构?

Transformer的强大源于其“全局握手”机制,但这在端侧设备上效率低下。RockAI选择了一种全新的架构,保留Transformer的特征提取能力,同时用更适合端侧的机制替代高耗能的Attention模块。这种创新大幅降低了算力需求和功耗。

离线智能的价值何在?

离线智能具备云端无法替代的优势:绝对的隐私安全、极致的实时交互以及更低的成本。例如,无人机或机器人需要毫秒级响应,云端延迟可能导致致命问题;海量设备使用云端服务会产生巨额成本,而本地部署几乎无需额外费用。

未来的端侧模型会是什么样?

RockAI的核心创新是“分区激活”,通过动态激活神经网络的小部分区域,显著降低功耗。这种方式模拟人脑的分区工作原理,使得小参数模型也能高效处理多模态任务。此外,他们还实现了端侧模型的自主学习能力,通过低功耗反向传播更新模型权重,从而实现个性化记忆。

市场对离线智能的需求如何?

目前,PC、平板和机器人是RockAI的主要客户群体。这些厂商希望通过离线AI盘活存量设备,提升品牌价值并开拓中低端市场。至于AI眼镜和玩具,由于硬件限制,短期内仍需借助手机算力或等待下一代芯片。

海外市场对离线智能的需求更强烈,源于隐私保护意识、网络覆盖不足以及人力成本高昂。RockAI通过赋能中国出海企业,抓住了这一机遇。

面对未来竞争,RockAI的护城河是什么?

硬件升级虽不可避免,但RockAI凭借其独特的架构优势仍具竞争力。更重要的是,团队坚持创新基因和深耕端侧的决心,使他们在技术探索中积累了独特认知和经验,这成为其真正的护城河。

原文链接
本文链接:https://kx.umi6.com/article/22412.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
Sora遭遇强敌,造梦机器爆红:实测效果让人意外
2024-06-14 08:42:36
面壁智能CEO李大海:大模型正在走向“无所不能”和“无处不在”|AI领先者心声・2025
2025-01-13 14:57:27
苹果首次公布自研模型细节, 揭秘 Apple 智能怎么炼成,即使没有 GPT-4o 也能打
2024-06-12 21:44:04
苹果智能海外上线 国产厂商押注AI 欲与之一战
2024-10-29 19:38:49
面壁李大海:大模型圈拼的已经不只是堆卡了
2025-03-18 18:47:33
视频大模型“造梦机器”爆红:瑕疵真不少,关键是能用
2024-06-14 09:22:57
苹果公布自研模型细节:没有GPT-4o也能打?
2024-06-12 22:54:41
史上最快AI芯片Sohu获1.2亿美元融资;Groq进行估值25亿美元融资;Mac版ChatGPT开放下载丨AI情报局
2024-06-27 17:49:26
大模型的效率腾飞,彩云科技做对了什么?
2024-11-18 11:20:45
手机厂开卷AI这一年 端侧大模型越做越小?|一线
2024-10-11 19:09:47
离线智能,什么时候迎来DeepSeek 时刻?
2025-07-26 14:41:20
断网也能用!贾扬清团队推出端侧模型Chrome插件,arXiv/B站/吃瓜一件搞定
2024-07-19 15:47:28
非 Transformer 架构 AI 模型 Liquid 问世,号称性能“凌驾 Meta Llama / 微软 Phi”
2024-10-09 09:45:15
24小时热文
更多
扫一扫体验小程序