综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
11月10日消息,开发者Jim Bruges完成一项极限挑战:在仅有16GB内存的Arduino单板电脑上,成功运行7440亿参数、419GB的GLM-5.3大模型。其核心秘诀是利用MoE架构与开源工具,将闲置权重存入固态硬盘实时置换。实测表明,系统生成速度仅0.03 Token/s,回答“列举三个行星”竟耗时约7分钟。由于NPU软件支持不完善,全程由CPU硬扛,SSD读写速度成最大短板。此举证明了边缘设备通过SSD置换运行超大模型的可能性,但远未达实用门槛,更像是一场极客圈的肌肉展示。
原文链接
加载更多
暂无内容