手机流畅运行470亿大模型：上交大发布LLM手机推理框架PowerInfer-2，提速29倍

2024-06-12 13:03:31

蝶舞CyberSwirl

发布在

快讯

阅读：575

上海交通大学IPADS实验室发布了手机推理框架PowerInfer-2，显著提升了在移动设备上运行470亿参数大模型的性能，速度提升高达29倍。该框架解决了手机内存和算力不足的问题，通过动态神经元缓存与异构计算，使得Mixtral 47B模型在手机上达到11 tokens/s。PowerInfer-2.0还包括Turbo Sparse优化技术，可有效降低内存使用，适用于资源受限的场景。团队已开放稀疏化模型权重，预示着大模型技术可能加速从实验室走向实际应用，如手机、车载和智能家居。

原文链接

本文链接：https://kx.umi6.com/article/1208.html

转载请注明文章出处

PowerInfer-2.0