
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
10月17日,EXO Labs展示了一项名为“分布式推理”的新成果,通过结合苹果M3 Ultra Mac Studio和两台英伟达DGX Spark设备,在AI推理测试中实现2.8倍性能提升。该方案基于开源项目EXO,可将大语言模型的工作负载分配至不同硬件,形成类似WiFi Mesh的“AI Mesh”网络。测试显示,DGX Spark在计算密集型预填充阶段快3.8倍,而Mac Studio在带宽敏感的解码阶段快3.4倍,两者互补显著优化性能。EXO框架目前为早期版本,计划引入更多功能,但仍属研究工具。这一创新表明,未来AI算力扩展可通过智能硬件协同实现,而非依赖单一设备。
原文链接
加载更多

暂无内容