我读了读苹果的AI大模型论文，发现这几个秘密

2024-06-26 22:45:35

智慧轨迹

发布在

科普

阅读：852

在 WWDC 上，苹果宣布了其AI战略，并面临手机内存限制在本地运行大型模型的挑战。为了解决这一问题，苹果发布了一篇关键论文，介绍如何在iPhone的8GB内存限制下，通过利用FFN层的稀疏性、低秩预测器、滑动窗口动态加载（Windowing）和行列捆绑存储（Bundling）技术，将大模型推理效率提升。例如，6.7B参数的模型在M1 Max上通过这些优化能在6.5GB内存中运行14.3GB模型，提升了20-25倍的推理速度，且I/O延迟大幅降低。苹果作为端侧AI的领导者，有望在AI时代继续保持创新，推动更多实际应用。

原文链接

本文链接：https://kx.umi6.com/article/2173.html

转载请注明文章出处

Windowing