上海交通大学IPADS实验室发布了手机推理框架PowerInfer-2，显著提升了在移动设备上运行470亿参数大模型的性能，速度提升高达29倍。该框架解决了手机内存和算力不足的问题，通过动态神经元缓存与异构计算，使得Mixtral 47B模型在手机上达到11 tokens/s。PowerInfer-2.0还包括Turbo Sparse优化技术，可有效降低内存使用，适用于资源受限的场景。团队已开放稀疏化模型权重，预示着大模型技术可能加速从实验室走向实际应用，如手机、车载和智能家居。