跳到正文
原文
LINUX DO 最新· Tibooooo·· 2 小时前AI 评分10

SGLang 部署 MiniMax h3 动态 mxfp8 显存过高:能否导出权重静态加载?

minimaxh3 mxfp8 sglang

AI 导读

社区用户探讨 SGLang 对 MiniMax h3 模型的量化部署问题。目前 SGLang 支持动态 mxfp8 量化 h3,但运行时显存占用过高,用户询问是否有人成功导出过权重并通过 SGLang 实现静态加载以验证可行性。

来源:LINUX DO 最新 · linux.do