跳到正文
原文
LINUX DO 最新· zhiqing·· 4 小时前AI 评分38

Qwen4-27B 架构推断

qwen4-27b架构推断

AI 导读

根据 PR #22 预接通代码推断,未发布的 Qwen4-27B 延续严格 Dense 架构与 5120 Hidden size,残差结构升级为 4 分支 HyperConnection。模型继续保留 3:1 混合骨架,并将第 4 层全注意力替换为 QSA,同时支持 MTP(draft=4)。目前该模型仅完成算子层预接通,无真实权重及端到端验收,具体层数与上下文长度等参数均未公布。

来源:LINUX DO 最新 · linux.do