Hugging Face、英伟达和约翰霍普金斯大学的研究人员联合发布了ModernBERT模型，旨在提升BERT模型的性能。ModernBERT能够处理长达8192个Token的上下文，而原版BERT每月下载量超6800万次。新模型基于过去几年内大型语言模型的发展，使用了2万亿个Token进行训练，在多种测试中达到业界领先水平。ModernBERT提供了1.39亿参数和3.95亿参数两个版本。发布时间：12月29日。