1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

标题:40万的Mac Studio“缝合怪”,双开满血DeepSeek不在话下

几个月前,爱范儿成功在一台M3 Ultra的Mac Studio上部署了671B参数的DeepSeek本地大模型(4-bit量化版)。如果用4台顶配Mac Studio组成“桌面级AI集群”,能否将本地推理性能推向新高度?这是英国创业公司Exo Labs正在探索的问题。

Exo Labs的创始人Alex和Seth来自牛津大学。即使在顶级高校,研究者使用GPU资源也需要提前数月排队,流程繁琐低效。他们发现,当前AI基础设施的高度集中化,让个人研究者和小型团队难以为继。为解决这一问题,他们在去年尝试串联两台MacBook Pro运行LLaMA模型,尽管性能有限,但验证了Apple Silicon架构用于分布式推理的潜力。

今年3月,苹果发布M3 Ultra顶配版Mac Studio,带来512GB统一内存、819GB/s带宽、80核GPU等强大配置,为本地AI集群提供了硬件基础。通过Thunderbolt 5串联4台设备后,系统拥有128核CPU、240个GPU核心、2TB统一内存和超3TB/s总带宽,性能堪比小型超算,却仍保持家用级体积。

关键在于Exo Labs开发的分布式调度平台Exo V2,它能自动拆分模型并分配到最合适的节点。在演示中,Exo V2成功将700GB内存需求的DeepSeek模型拆分到两台Mac Studio上运行,并实现两个670亿参数模型的并行推理。此外,该方案还支持私有文档RAG问答和轻量微调,数据完全本地化,适合企业需求。

相比传统服务器方案,这套系统的成本优势显著。4台Mac Studio高负载运行时功耗仅400W,而同等性能的传统服务器需20张A100显卡,成本超200万人民币,且需独立机房和制冷系统。虽然顶配版售价不菲,但苹果M芯片的统一内存架构带来的高效性,使其成为中小团队的理想选择。

如果说H100是金字塔顶端的王者,那么Mac Studio正成为中小团队手中的瑞士军刀。

原文链接
本文链接:https://kx.umi6.com/article/23270.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
李开复:如果十年后回顾 DeepSeek 如何让中国未落后美国,答案是开源
2025-09-27 12:40:23
QuestMobile 报告:豆包月活超越 DeepSeek,夺 8 月中国原生 AI App 月活第一
2025-09-16 18:17:35
MAU被豆包反超,Deepseek挤了点牙膏
2025-10-21 15:28:27
不是接入DeepSeek,就叫AI制药
2026-01-17 16:35:32
OpenAI发布开源模型“王者归来”,DeepSeek剧情会反转吗
2025-08-06 12:31:08
六大AI拿1万美元真实交易:DeepSeek最能赚,GPT-5亏麻了,AI能让周杰伦少亏上亿
2025-10-20 17:12:32
DeepSeek首登《自然》封面:中国大模型创造新历史,做了OpenAI不敢做的事
2025-09-18 16:58:59
DeepSeek成了硅谷最大的“不能说的秘密”
2025-09-23 17:20:46
六大AI大模型展开美股投资竞赛:重仓英伟达的Deepseek再次领跑
2025-10-28 18:00:23
Meta 重金抢人,明星云集就能复制 DeepSeek 的成功吗?
2025-07-17 17:30:33
美称中国一人工智能企业违反美出口管制 外交部:中方已多次表明原则立场
2026-02-24 15:53:46
调查 | 爆火仅半年,DeepSeek在银行业已“泯然众模型”?三大障碍成为拦路虎
2025-08-04 11:56:14
六大AI模型被扔进加密市场厮杀,DeepSeek暂为交易之王
2025-10-20 18:12:39
24小时热文
更多
扫一扫体验小程序