2024年最新发布：全新ModernBERT问世，登顶Hugging Face下载榜第二
当代之王：全新ModernBERT闪耀登顶，再度引领Hugging Face下载榜！
数界探索
12月29日消息，HuggingFace、英伟达和约翰霍普金斯大学的研究人员合作，在HuggingFace平台上推出了ModernBERT的新版本。该版本据称在保证效率的前提下，新增了对长达8192个Token的上下文进行处理的支持。
尽管BERT模型自2018年发布以来依然在业界得到广泛应用，并且是HuggingFace上下载量第二大的模型（仅次于RoBERTa），每月下载量超过6800万次，但开发团队表示，这款模型如今已经显得有些过时。
在BERT模型首次发布六年后，如今，HuggingFace及其他团队结合近年来大型语言模型（LLM）领域的最新进展，对BERT模型的架构和训练方法进行了优化升级。最终，他们发布了ModernBERT模型，以替代原有的BERT模型。
据悉，相关开发团队利用了2万亿个Token来训练ModernBERT，使该模型在各种分类测试和向量检索测试中均达到了目前业界的顶尖水平。目前，开发团队已经发布了两个版本的模型，分别是1.39亿参数和3.95亿参数版本。附项目地址如下（点击访问）。