1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐翻近7倍
近日,是石科技发布自研Meta-Infer高效推理引擎,通过纯软件优化大幅释放PCIe显卡及国产GPU算力潜力。针对大模型推理中硬件与框架的性能鸿沟,该引擎通过内核补齐、通信重构、并行调优及缓存复用等技术,在不改动模型的前提下实现性能飞跃。测试显示,在8卡PCIe环境下运行DeepSeek-V4.1-Flash,输入吞吐从1932 tok/s升至13274 tok/s,提升近7倍并支持百万级上下文,且在国产GPU上同样成效显著。在算力成本攀升的当下,此举为行业提供了“以软补硬”的新思路,让低成本硬件逼近高端GPU服务能力。
像素宇宙
09-24 22:46:00
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序