阿里通义千问于1月27日宣布推出Qwen2.5-1M开源模型及推理框架，首次将上下文扩展至100万Tokens。Qwen团队开源了基于vLLM的推理框架，并集成稀疏注意力方法，使处理速度提升3到7倍。Qwen2.5-1M系列模型在长上下文任务中表现出色，尤其在超过64K长度的任务中优于128K版本。此外，Qwen2.5-14B-Instruct-1M模型在多个数据集上超越GPT-4o-mini，而在短文本任务上则与GPT-4o-mini性能相近。模型和详细技术报告现已开放获取。

时隔6年，BERT升级版ModernBERT问世，更快、更准、上下文更长。发布即开源，上下文长度达8192 token，是大多数编码器的16倍。ModernBERT在信息检索、分类和实体抽取等任务中表现出色，性能达到SOTA。其速度是DeBERTa的两倍，内存占用不到DeBERTa的五分之一。 Mo...