Hugging Face、英伟达和约翰霍普金斯大学的研究人员联合发布了ModernBERT模型，旨在提升BERT模型的性能。ModernBERT能够处理长达8192个Token的上下文，而原版BERT每月下载量超6800万次。新模型基于过去几年内大型语言模型的发展，使用了2万亿个Token进行训练，在多种测试中达到业界领先水平。ModernBERT提供了1.39亿参数和3.95亿参数两个版本。发布时间：12月29日。

时隔6年，BERT升级版ModernBERT问世，更快、更准、上下文更长。发布即开源，上下文长度达8192 token，是大多数编码器的16倍。ModernBERT在信息检索、分类和实体抽取等任务中表现出色，性能达到SOTA。其速度是DeBERTa的两倍，内存占用不到DeBERTa的五分之一。 Mo...