跳到正文
原文
Hugging Face·· 2025-01-15精选AI 评分65

Hugging Face 开源两款静态嵌入模型,CPU 推理速度提升达 400 倍

Train 400x faster Static Embedding Models with Sentence Transformers

AI 导读

Hugging Face 推出基于 Sentence Transformers 的静态嵌入模型训练方案,并开源了英文检索与多语言相似度两款新模型。新模型在 CPU 上的推理速度比常用基准模型快 100 到 400 倍,且能保留对应基准至少 85% 的性能表现。训练方案结合了对比学习与套娃表示学习(MRL),支持在端侧设备和浏览器中快速运行,并兼容 LangChain、LlamaIndex 等框架。

推荐理由

通过结合对比学习与套娃表示学习,静态嵌入在大幅降低 CPU 推理开销的同时保留了大部分基准性能,适合端侧与低算力场景。

来源:Hugging Face · huggingface.co