
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
8月11日,英特尔为锐炫Pro系列GPU的Battlematrix项目发布LLM Scaler v1.0软件更新,显著优化AI推理能力。新版本基于vLLM框架,支持多GPU扩展与长序列高效推理,整体性能最高提升80%。针对32B KPI模型,40K序列长度下性能提升1.8倍;70B KPI模型提升高达4.2倍。此外,LLM Scaler引入分层在线量化、管道并行等功能,降低显存占用并提升扩展性。集成XPU Manager工具,增强企业级运维支持。英特尔计划本季度推出更稳固版本,并预计第四季度实现全功能落地,持续推动大模型推理平台升级。
原文链接
加载更多

暂无内容