跳到正文
原文
LINUX DO 最新· 灼眼的小飒·· 3 小时前AI 评分60

Astra 可直接修改开源模型权重以提升特定领域表现

astra模型能够直接修改开源模型权重参数,提升特定领域表现

AI 导读

MIT 团队提出一种权重空间编程方法,让 Astra 模型在受限 Python 沙盒中直接修改 Qwen3.5-0.8B 权重张量,大幅提升其数学表现。沙盒禁止计算梯度与使用优化器拟合,仅允许受限次数的前向传播调用以观测状态;Astra 借此排查出基座模型重复思考耗尽 32,768 个 Token 的问题,并将死循环根源追踪至第 15 层和第 19 层的 MLP。

来源:LINUX DO 最新 · linux.do