Together AI团队成功地将Transformer和Mamba模型结合，推出了Llama 3+Mamba混合模型。通过蒸馏技术，将Transformer的参数集成到Mamba模型中，同时开发了推测解码算法加速推理过程，实现了推理速度最高提升1.6倍的显著效果。这一创新不仅保持了原有模型的高性能，甚至在某些任务上的表现超越了原始模型，尤其是在零样本和少样本的通用自然语言处理任务中。实验结果显示，在多轮聊天对话任务中，混合模型与Llama-3相当或更优，且在零样本任务评测中，混合模型的平均成绩优于同等规模的RNN模型。此外，推测解码算法的应用使得混合模型在单论和多轮任务上的性能得到了显著提升，尤其是在Zephyr和Llama混合模型上，推理速度分别提升了1.8倍和1.6倍以上。这一成果标志着大模型发展方向的一个重要里程碑，展示了混合模型在加速推理过程和提升性能方面的巨大潜力。