标题：苹果AI战略的新突破：高效大模型在手机端推理

今年WWDC，苹果展示了其AI重点，定义为"Apple Intelligence"。大模型虽强大，但手机内存受限，难以直接运行大型模型。为此，苹果发布了一篇关键论文，解决在手机上利用有限内存高效推理的问题。

论文核心是利用FFN层的稀疏性。大模型中，约1/3的Attention层参数常驻DRAM，而FFN层有高达95%的稀疏性，因为ReLU激活函数导致大部分输出为0。苹果通过构建低秩预测器，仅加载非零输出的神经元参数，以及采用滑动窗口技术（Windowing），每次处理固定长度的输入序列，进一步降低DRAM需求。同时，行列捆绑存储(Bundling)减少了数据读取次数，显著提高效率。

实验显示，苹果的优化方法在M1 Max上实现了6.5GB DRAM支持14.3GB大模型，提升了CPU速度4-5倍，GPU速度20-25倍，I/O延迟大幅下降。这预示着苹果在端侧AI领域的领导地位，并有望推动更多实时响应的任务应用。未来，手机和PC将成为90%推理任务的主力，苹果有望带来AI领域的重大突破。