Hugging Face·· 2024-12-19精选AI 评分82
新一代编码器模型 ModernBERT 正式发布，支持 8k 上下文与架构现代化
Finally, a Replacement for BERT: Introducing ModernBERT
AI 导读
Answer.AI 与 LightOn 联合推出新一代纯编码器模型 ModernBERT，提供 base（149M）和 large（395M）两个尺寸，作为传统 BERT 的直接替代方案。
推荐理由
展示了如何将现代架构优化迁移至编码器模型，为长文本检索与代码搜索等任务提供了更高吞吐的低成本替代方案。
来源：Hugging Face · huggingface.co