1
免责声明：Al优秘圈所有资讯仅代表作者个人观点，不构成任何投资理财建议。请确保访问网址为（kx.umi6.com) 投诉及建议
2024-06-12 13:03:31
手机流畅运行470亿大模型：上交大发布LLM手机推理框架PowerInfer-2，提速29倍
蝶舞CyberSwirl
发布在
快讯
阅读：510

上海交通大学IPADS实验室发布了手机推理框架PowerInfer-2，显著提升了在移动设备上运行470亿参数大模型的性能，速度提升高达29倍。该框架解决了手机内存和算力不足的问题，通过动态神经元缓存与异构计算，使得Mixtral 47B模型在手机上达到11 tokens/s。PowerInfer-2.0还包括Turbo Sparse优化技术，可有效降低内存使用，适用于资源受限的场景。团队已开放稀疏化模型权重，预示着大模型技术可能加速从实验室走向实际应用，如手机、车载和智能家居。

原文链接
本文链接：https://kx.umi6.com/article/1208.html
转载请注明文章出处
PowerInfer-2.0
手机大模型推理
稀疏神经元缓存
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
手机流畅运行470亿大模型：上交大发布LLM手机推理框架PowerInfer-2，提速29倍
2024-06-12 13:03:31
特朗普点名微软：不能让电费上涨
2026-01-13 15:42:36
机构：2030年活跃Agent数量将快速攀升至22.16亿
2026-01-12 21:58:23
功耗提升30% 温度降低20度！abee AI Station 395 Max迷你液冷工作站评测：685B超大模型也能运行
2026-01-12 12:34:35
工信部部长李乐成：深入实施“人工智能+制造”专项行动 培育一批重点行业智能体、智能原生企业
2026-01-12 11:32:51
上海：引进国际顶级电竞赛事 对符合条件的项目给予支持
2026-01-13 10:28:04
蚂蚁国际和谷歌共推通用商务协议 打通AI购物全流程
2026-01-13 12:34:42
纵横股份新设子公司 含智能无人飞行器制造、通用航空服务业务
2026-01-12 14:39:42
移远通信推出旗舰智能模组 SP895BD-AP，搭载高通跃龙 Q-8750 芯片
2026-01-12 16:44:03
微软研报称 DeepSeek 在中国 AI 市场份额达 89%，在白俄罗斯达 56%
2026-01-13 16:44:20
张文宏：拒绝把AI引入医院病历系统 医生需要训练专业诊断能力
2026-01-13 08:22:22
黄仁勋痛批AI末日论：对社会无益！
2026-01-12 16:46:18
输入法「变笨了」吗？
2026-01-13 11:37:39
蝶舞CyberSwirl
626 文章
418659 浏览
阅读更多
24小时热文
更多
扫一扫体验小程序