1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
我读了读苹果的AI大模型论文,发现这几个秘密
在 WWDC 上,苹果宣布了其AI战略,并面临手机内存限制在本地运行大型模型的挑战。为了解决这一问题,苹果发布了一篇关键论文,介绍如何在iPhone的8GB内存限制下,通过利用FFN层的稀疏性、低秩预测器、滑动窗口动态加载(Windowing)和行列捆绑存储(Bundling)技术,将大模型推理效率提升。例如,6.7B参数的模型在M1 Max上通过这些优化能在6.5GB内存中运行14.3GB模型,提升了20-25倍的推理速度,且I/O延迟大幅降低。苹果作为端侧AI的领导者,有望在AI时代继续保持创新,推动更多实际应用。
智慧轨迹
06-26 22:45:35
Windowing
低秩预测器
大模型推理
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序