在 WWDC 上，苹果宣布了其AI战略，并面临手机内存限制在本地运行大型模型的挑战。为了解决这一问题，苹果发布了一篇关键论文，介绍如何在iPhone的8GB内存限制下，通过利用FFN层的稀疏性、低秩预测器、滑动窗口动态加载（Windowing）和行列捆绑存储（Bundling）技术，将大模型推理效率提升。例如，6.7B参数的模型在M1 Max上通过这些优化能在6.5GB内存中运行14.3GB模型，提升了20-25倍的推理速度，且I/O延迟大幅降低。苹果作为端侧AI的领导者，有望在AI时代继续保持创新，推动更多实际应用。