10月17日，EXO Labs展示了一项名为“分布式推理”的新成果，通过结合苹果M3 Ultra Mac Studio和两台英伟达DGX Spark设备，在AI推理测试中实现2.8倍性能提升。该方案基于开源项目EXO，可将大语言模型的工作负载分配至不同硬件，形成类似WiFi Mesh的“AI Mesh”网络。测试显示，DGX Spark在计算密集型预填充阶段快3.8倍，而Mac Studio在带宽敏感的解码阶段快3.4倍，两者互补显著优化性能。EXO框架目前为早期版本，计划引入更多功能，但仍属研究工具。这一创新表明，未来AI算力扩展可通过智能硬件协同实现，而非依赖单一设备。

姚欣再创业：分布式推理的革新 PPTV创始人姚欣，这位互联网时代的开拓者，再次踏入创业征程，聚焦于云计算领域，特别是AI时代的基础设施建设。不同于以往，他采取了一种独特的策略：构建分布式推理算力平台，而非传统的自建IDC和购买GPU。 分布式云的机遇与选择 - 机遇：2020年Gartner提出的分...