跳到正文
热点事件持续更新

SGLang部署MiniMax h3动态量化显存过高引发探讨

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月27日,社区用户就使用 SGLang 部署 MiniMax h3 模型的量化方案展开讨论。相关报道指出,当前 SGLang 已支持对 MiniMax h3 模型进行动态 mxfp8 量化,但运行时显存占用过高。针对这一显存压力问题,社区用户正在探讨是否有人成功导出过对应权重,并尝试通过 SGLang 实现静态加载,以验证该替代方案降低显存占用的可行性。

AI 根据报道生成 · 54 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. LINUX DO 最新
    SGLang 部署 MiniMax h3 动态 mxfp8 显存过高:能否导出权重静态加载?

    社区用户探讨 SGLang 对 MiniMax h3 模型的量化部署问题。目前 SGLang 支持动态 mxfp8 量化 h3,但运行时显存占用过高,用户询问是否有人成功导出过权重并通过 SGLang 实现静态加载以验证可行性。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。