1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效
在2026 CCF全国高性能计算学术大会期间,是石科技正式发布TokenFleet分布式调度框架,助力国产推理再提效!该框架聚焦GPU集群有效产出,推出三大核心技术:TokenPilot智能路由使P95首Token延迟降低32.4%;FleetMind实现跨机房服务容量协同;SLOMax治理混合负载,令达标输出吞吐提高约29.4%。作为独立第三方全栈算力运营商,是石科技通过这一集群调度“大招”,深度优化请求分配与容量协同,大幅提升算力资源利用率并降低成本,致力于打造更高效的“国产Token优化工厂”。
LunarCoder
10-20 17:25:15
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序