GPT-6 Astra 直接修改神經網路權重：僅動 0.016%，Qwen 數學測試從 7.9% 躍升至 48.1%

只修改 0.016% 權重，數學成績卻大幅提高

2026 年 11 月 2 日，MIT CSAIL 研究者 Rikiya Takehi、Jayden Teoh、Alex Zhang 與 Omar Khattab 發表研究文章《Sparks of Weight-Space Programming》。團隊報告，GPT-6 Astra 能在不使用梯度下降或傳統訓練迴圈的條件下，直接分析與修改神經網路的數值權重。在其中一項實驗中，研究者要求 Astra 改善 Qwen3.5-0.8B 的數學表現，最終只調整 131,072 個權重，約占模型所稱 8 億權重的 0.016%，MATH-500 成績就從 7.9% 上升到 48.1%。這是研究團隊公布的實驗結果，尚不能當成所有模型皆可重現的通用結論。

為什麼模型權重通常不能直接編輯？

神經網路權重是一組大量浮點數，決定輸入訊號如何在不同層間轉換。傳統訓練會定義損失函數，使用反向傳播計算梯度，再透過 Adam 等最佳化器逐步更新權重。對人類工程師而言，單一權重通常沒有清楚的語意標籤，不能像修改程式碼一樣直接找到「數學能力開關」。這也是為何微調、強化學習與模型可解釋性研究如此重要。

Weight-Space Programming（權重空間程式設計）提出另一條路：讓具備推理能力的語言模型檢視權重、分析特定行為可能對應的方向與結構，再提出數值修改。這不表示神經網路已經變成一般可讀原始碼，而是把權重當成可以透過實驗與推理操作的工程對象。

真正修好的可能不是數學知識，而是推理迴圈

研究最值得注意的細節，是原始 Qwen 模型經常陷入重複推理，直到耗盡輸出 token 預算。研究團隊表示，Astra 將問題定位到第 15 與第 19 層的 MLP，並在每層 64 個輸出欄位中扣除與迴圈相關的方向，總計修改 131,072 個權重。這是一種有針對性的行為干預，而不是讓模型重新學習整套數學知識。

在研究公布的設定下，MATH-500 從 7.9% 提升至 48.1%，GSM8K 從 13.8% 提升至 67.1%，IFEval 指令遵循分數從 21.0% 提升至 62.3%。MATH-500 達到 32,768 token 上限的比例則從 93.0% 降至 33.1%。因此，數學成績的大幅改善很可能主要來自模型更常能完成原本會卡住的答案，而不能簡單解讀為抽象推理能力增加六倍。

研究者進一步報告，在分析完成答案與被截斷答案時，改善主要集中於原先被截斷的案例。這使「修復輸出流程缺陷」成為比「憑空創造新數學能力」更符合證據的描述。

不只修補 Qwen，也嘗試讀懂與創造遊戲神經網路

研究團隊還報告其他實驗：Astra 在檢視部分遊戲策略網路的原始權重後，能辨識其所對應的遊戲；在一項車輛控制任務中，研究者稱模型藉由修改部分權重修復失敗策略；另有實驗要求 Astra 從零產生小型遊戲網路的權重，並與透過 PPO 強化學習訓練的策略比較。

這些案例顯示研究方向不侷限於大型語言模型，但不同任務的網路規模、評估方法與可用資訊各異，不能把小型遊戲網路的成功直接外推到數千億參數模型。

這是否代表 AI 可以自行改進 AI？

從工程角度看，研究展示了一種新的模型維修工作流程：先診斷失效模式，接著定位權重空間中的候選方向，再以有限前向推論測試修改效果。它可能補充傳統微調，尤其適合已知且可定位的行為缺陷。然而，研究並未證明模型可以安全、穩定地任意增加新能力，也未證明能對自身進行無限制的遞迴改進。

未來仍需驗證修改是否會傷害其他能力、是否可跨模型架構遷移、是否能由獨立團隊重現，以及大量模型修補是否會累積不可預期的副作用。對 AI 安全而言，能精準移除錯誤行為是機會；同一能力若用來繞過安全機制，也會帶來新的權重完整性與模型治理問題。

對 AI 產業的意義

現有模型開發高度依賴 GPU 算力、資料與訓練管線。若權重空間程式設計能擴展至更多模型與失效模式，未來部分修補工作可能不必重新啟動昂貴的訓練流程。不過，本次實驗仍使用前向推論與分析過程，不能稱為零計算成本，也沒有足夠證據量化大規模部署能節省多少 GPU 時間。

這項研究更深刻的意義，在於把神經網路從只能透過梯度間接調整的黑盒，逐步變成可以被另一個模型分析、測試與局部修補的系統。它是令人注目的早期成果，但距離成熟、可驗證的自動模型工程仍有一段距離。

Tech English｜技術名詞

Weight-Space Programming（權重空間程式設計）：直接分析與修改神經網路權重的研究方法，不依賴傳統梯度更新作為唯一調整手段。

Neural Network Weights（神經網路權重）：控制神經元之間訊號轉換的數值參數，通常由訓練過程學得。

Gradient Descent（梯度下降）：依照損失函數的梯度方向反覆更新參數的最佳化方法。

Reasoning Loop（推理迴圈）：模型反覆產生相似推理內容，無法有效完成答案的失效模式。

Forward Pass（前向傳播）：將輸入送入模型計算輸出的過程，不等於執行反向傳播或更新權重。

Mechanistic Interpretability（機制可解釋性）：研究神經網路內部電路、表示與行為之間關係的領域。