跳到正文
原文
Hugging Face·· 2024-05-09AI 评分43

基于 Intel Gaudi 2 与 Intel Xeon 构建高性价比企业级 RAG 应用

Building Cost-Efficient Enterprise RAG applications with Intel Gaudi 2 and Intel Xeon

AI 导读

Intel 展示了基于 Gaudi 2 加速器与 Xeon CPU 构建高性价比企业级 RAG 应用的方案。架构通过支持 AMX-FP16 的 Granite Rapids CPU 运行 BAAI/bge-base-en-v1.5 嵌入模型并搭配 Redis,使混合 AI 工作负载性能提升 2-3x。

来源:Hugging Face · huggingface.co