跳到正文
原文
V2EX 热门· hjdhduyeh·· 3 小时前AI 评分45

决策推理引擎 Flide 开源,让 Jev 模型最高加速 9 倍

[分享创造] 让你的 Jev 模型最高加速 9 倍,决策推理引擎 Flide 开源

AI 导读

面向本地部署的决策模型推理引擎 Flide 正式开源,相比 vLLM 和 SGLang 等 LLM 框架,在决策任务上最高可加速 9.5 倍。该引擎目前已支持三十多款 Jev 模型且持续接入新模型中,用户可通过 `pip install flide` 直接安装使用。

来源:V2EX 热门 · v2ex.com