1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
16GB内存跑7440亿模型有多慢!Arduino实测:7分钟才出3个词
11月10日消息,开发者Jim Bruges完成一项极限挑战:在仅有16GB内存的Arduino单板电脑上,成功运行7440亿参数、419GB的GLM-5.3大模型。其核心秘诀是利用MoE架构与开源工具,将闲置权重存入固态硬盘实时置换。实测表明,系统生成速度仅0.03 Token/s,回答“列举三个行星”竟耗时约7分钟。由于NPU软件支持不完善,全程由CPU硬扛,SSD读写速度成最大短板。此举证明了边缘设备通过SSD置换运行超大模型的可能性,但远未达实用门槛,更像是一场极客圈的肌肉展示。
心智奇点
11-10 15:39:12
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序