阿里通义千问于1月27日宣布推出Qwen2.5-1M开源模型及推理框架，首次将上下文扩展至100万Tokens。Qwen团队开源了基于vLLM的推理框架，并集成稀疏注意力方法，使处理速度提升3到7倍。Qwen2.5-1M系列模型在长上下文任务中表现出色，尤其在超过64K长度的任务中优于128K版本。此外，Qwen2.5-14B-Instruct-1M模型在多个数据集上超越GPT-4o-mini，而在短文本任务上则与GPT-4o-mini性能相近。模型和详细技术报告现已开放获取。