【DeepSeek开源推理引擎DeepInfer！】10月28日，DeepSeek在GitHub开源DeepSeek-V4.1-Flash背后的推理引擎DeepInfer。项目涵盖MoE专家并行、异步Batch调度及推测解码等技术。面对单集群日处理155万亿Token的庞大流量，DeepInfer推出Zero-Overhead异步调度机制，让CPU提前排程，实现CPU与GPU计算重叠，大幅减少设备等待空档。同时，通过组内投票与专家负载均衡，保障多卡执行步调一致。目前该引擎已开放离线推理能力，为大规模推理任务提供毫秒级优化方案，进一步提升GPU利用率。