LINUX DO 最新· zhiqing·· 4 小时前AI 评分38
Qwen4-27B 架构推断
qwen4-27b架构推断
AI 导读
根据 PR #22 预接通代码推断,未发布的 Qwen4-27B 延续严格 Dense 架构与 5120 Hidden size,残差结构升级为 4 分支 HyperConnection。模型继续保留 3:1 混合骨架,并将第 4 层全注意力替换为 QSA,同时支持 MTP(draft=4)。目前该模型仅完成算子层预接通,无真实权重及端到端验收,具体层数与上下文长度等参数均未公布。
来源:LINUX DO 最新 · linux.do