跳到正文
原文
LINUX DO 最新· 咪叭·· 2 小时前AI 评分34

购买联想 228V 迷你主机折腾记:本地部署与运行 Gemma 4 26B

买了个 228V 迷你主机之后 的一顿折腾 (现在用的 GEMMA 4 26B

AI 导读

作者在 32GB 内存的联想 228V 迷你主机上使用 llama.cpp 的 Vulkan 后端成功部署了 Gemma 4 26B 模型。在 16k 上下文下 prefill 速度约 300,输出速度为 15-18 token/s,图片编码耗时从 70 秒缩短至 30 秒。该主机无请求待机功耗为 6-8W,工作时功耗约 30W,且运行十分安静。

来源:LINUX DO 最新 · linux.do