收录大模型

GPT爆改Qwen权重,数学能力暴涨6倍

2026-11-030 阅读
AI 摘要 · 自动生成

MIT研究者让GPT-6 Astra直接读写Qwen3.5-0.8B的权重,仅修改0.016%参数(约13万)就使数学推理得分最高提升6倍。Astra无需梯度,靠前向传播推理出第15、19层的循环问题并修正。它还能识别游戏网络、修改小车爬坡策略、零训练生成围棋网络并超越PPO。研究预示LLM原生优化神经网络权重的可能,但大模型效果待验证。

核心要点

  • 01Astra仅改0.016%权重,Qwen数学得分从7.9升至48.1
  • 02无需梯度,靠前向传播定位第15/19层循环并修正
  • 03能识别不同游戏网络,修改3.5%权重解决小车爬坡
  • 04零训练生成围棋网络,胜率超训练2000万局PPO
  • 05自我进化可行,但大模型上效果未知
原始来源 · 请支持原创

完整内容请访问原文:

猿大侠

//评论

0 条
加载中…

//相关内容