阿里云推出全新AI计算解决方案：大模型所需GPU狂降82%！

2025-10-21 11:23:58

E-Poet

发布在

快讯

阅读：1420

10月21日，阿里云在韩国首尔举办的SOSP 2025会议上推出全新AI计算解决方案“Aegaeon”。该方案通过Token级别虚拟化GPU访问，实现多模型共享单个GPU的精细化资源调度，大幅降低硬件浪费。测试显示，在服务数十个720亿参数大模型时，所需NVIDIA H20 GPU数量从1192个降至213个，削减82%。系统通过显存管理、KV缓存优化等技术将模型切换开销降低97%，支持亚秒级响应。目前，该技术已应用于阿里云百炼平台，显著降低大型模型服务商的硬件采购成本。

原文链接

本文链接：https://kx.umi6.com/article/27022.html

转载请注明文章出处

Aegaeon