多模态推理最高加速3.2倍！华为诺亚新算法入选NeurIPS 2025

华为诺亚方舟实验室提出了一种全新推理加速框架——视觉感知投机推理（ViSpec），在不牺牲生成质量的前提下，将多模态大模型（VLM）推理速度最高提升3.22倍。这一突破性成果已入选NeurIPS 2025。

目前，投机推理技术在纯文本领域表现优异，但在多模态任务中却因视觉信息处理难题而受限，加速效果不足1.5倍。ViSpec通过三大创新设计解决了这一问题：

1. 轻量级视觉适配器：借鉴Q-Former思想，将大量冗余的图像嵌入压缩为少量紧凑表征，显著降低草稿模型的计算负担，同时保留关键信息。
2. 全局视觉特征注入：通过注入全局特征向量，确保长文本生成过程中图像信息的持续影响，避免“中间遗忘”效应。
3. 合成长回复数据集与训练策略：通过修改现有数据集指令生成高质量长回复数据，并结合专门训练方法，防止草稿模型过拟合，提升泛化能力。

实验表明，ViSpec在多个主流VLM（如LLaVA、Qwen2.5-VL）上实现了1.85至3.22倍的加速，平均加速比达2.5倍，且生成质量无损。消融实验进一步验证了各模块的有效性，图像嵌入压缩、全局特征注入和数据合成分别贡献了30%、7%和30%的性能提升。

ViSpec的提出为VLM的实际应用铺平了道路，未来有望在手机、汽车等边缘设备上实现更高效、智能的人机交互。

论文链接：https://arxiv.org/abs/2509.15235
项目地址：https://github.com/KangJialiang/ViSpec