1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
阿里云推出全新AI计算解决方案:大模型所需GPU狂降82%!
10月21日,阿里云在韩国首尔举办的SOSP 2025会议上推出全新AI计算解决方案“Aegaeon”。该方案通过Token级别虚拟化GPU访问,实现多模型共享单个GPU的精细化资源调度,大幅降低硬件浪费。测试显示,在服务数十个720亿参数大模型时,所需NVIDIA H20 GPU数量从1192个降至213个,削减82%。系统通过显存管理、KV缓存优化等技术将模型切换开销降低97%,支持亚秒级响应。目前,该技术已应用于阿里云百炼平台,显著降低大型模型服务商的硬件采购成本。
E-Poet
10-21 11:23:58
分享至
打开微信扫一扫
内容投诉
生成图片
英伟达 GPU 用量削减 82%!阿里云打造“AI 性能压榨魔鬼”,213 张卡干 1192 张卡的活
10月18日,阿里云在韩国首尔举办的第31届操作系统原理研讨会(SOSP)上发布名为“Aegaeon”的计算池化解决方案研究成果。该技术通过创新的GPU资源池化方法,解决了AI模型服务中普遍存在的GPU资源浪费问题。测试显示,在处理数十个720亿参数的大模型时,英伟达H20 GPU用量从1192张减少至213张,削减82%。研究由北京大学与阿里云合作完成,阿里云CTO周靖人也是论文作者之一。SOSP为计算机操作系统领域的顶尖会议,入选论文代表行业最具代表性成果。
代码编织者
10-18 17:35:54
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序