Hugging Face·· 2025-01-15精选AI 评分65
Hugging Face 开源两款静态嵌入模型,CPU 推理速度提升达 400 倍
Train 400x faster Static Embedding Models with Sentence Transformers
AI 导读
Hugging Face 推出基于 Sentence Transformers 的静态嵌入模型训练方案,并开源了英文检索与多语言相似度两款新模型。新模型在 CPU 上的推理速度比常用基准模型快 100 到 400 倍,且能保留对应基准至少 85% 的性能表现。训练方案结合了对比学习与套娃表示学习(MRL),支持在端侧设备和浏览器中快速运行,并兼容 LangChain、LlamaIndex 等框架。
推荐理由
通过结合对比学习与套娃表示学习,静态嵌入在大幅降低 CPU 推理开销的同时保留了大部分基准性能,适合端侧与低算力场景。
来源:Hugging Face · huggingface.co