8月11日,英特尔为锐炫Pro系列GPU的Battlematrix项目发布LLM Scaler v1.0软件更新,显著优化AI推理能力。新版本基于vLLM框架,支持多GPU扩展与长序列高效推理,整体性能最高提升80%。针对32B KPI模型,40K序列长度下性能提升1.8倍;70B KPI模型提升高达4.2倍。此外,LLM Scaler引入分层在线量化、管道并行等功能,降低显存占用并提升扩展性。集成XPU Manager工具,增强企业级运维支持。英特尔计划本季度推出更稳固版本,并预计第四季度实现全功能落地,持续推动大模型推理平台升级。
原文链接
本文链接:https://kx.umi6.com/article/23427.html
转载请注明文章出处
相关推荐
.png)
换一换
AI七个月突破数学家“围剿”反超人类!14位数学家深挖原始推理token:不靠死记硬背靠直觉
2025-06-09 17:29:05
突发换人!英特尔CEO基辛格退休,在任期间市值蒸发了1万亿
2024-12-03 07:08:57
英特尔投下「座舱」核弹:229TOPS独显GPU上车!跑满大模型畅玩3A
2024-08-10 20:12:52
联手对抗英伟达?消息称软银曾与英特尔讨论合作开发 AI 芯片,但以失败告终
2024-08-16 05:00:15
2600 tokens / s:Meta 发布 Llama API,携手 Cerebras 打造最快 AI 推理解决方案
2025-04-30 19:40:23
重振英特尔,陈立武启动闪电战
2025-04-25 18:18:27
英特尔前CEO:我低估了人工智能的影响
2025-07-06 15:14:49
苹果谷歌猛人齐聚,英特尔打造AI芯片界的“复仇者联盟”
2025-06-19 09:54:22
英特尔发布全新企业AI一体化方案
2024-12-01 10:28:19
连接者与解构者:一场分享会看懂英特尔如何赋能企业级 AI 生态
2024-09-02 21:28:47
华人CEO的背水一战:错失苹果、英伟达与OpenAI的英特尔能否逆袭
2025-03-18 22:55:57
2024全年营收下降2%,英特尔临时CEO:调整Falcon Shores AI芯片对外销售计划
2025-02-02 16:48:18
英特尔发布首款AI PC台式机处理器酷睿Ultra 200S
2024-10-10 23:46:30
480 文章
85771 浏览
24小时热文
更多

-
2025-08-12 17:23:47
-
2025-08-12 17:22:40
-
2025-08-12 17:21:25