AI 開始學會「修理下一個 AI」：Anthropic 自動研究員在安全訓練實驗中超越人類專家

Anthropic 正在測試一個看似有點科幻、卻已經進入實驗階段的問題：如果未來 AI 模型進步得比人類研究速度更快，那麼負責確保 AI 安全的研究工作，是否也能交給 AI 本身？

8 月 28 日，Anthropic 公布研究《Automated Researchers Can Reliably Mitigate Alignment Failures》，展示一套 Automated Alignment Researcher（AAR，自動化對齊研究員）系統。研究團隊讓 Claude 不只是回答問題，而是實際扮演研究員：搜尋既有論文、提出安全訓練方法、建立訓練資料、訓練目標模型、執行 benchmark，再根據結果繼續修改方法。

換句話說，這已經不是單純叫 AI「想一個方法」，而是把原本需要研究員反覆進行的「閱讀 → 假設 → 實驗 → 評估 → 修正」循環，部分自動化。

AI 研究員到底在修什麼？

Anthropic 選了 10 種常見的 Alignment Failure，也就是模型行為沒有符合預期安全目標的情況，包括 Sycophancy（迎合使用者）、Jailbreaks（越獄攻擊）、Prompt Injection（提示注入）、Power Seeking（追求權力或額外控制）、Deception（欺騙）、Hallucination（幻覺）、Social Bias（社會偏見）、Privacy Violation（隱私侵犯）、Reward Hacking（鑽獎勵機制漏洞）以及 Concealing Uncertainty（隱瞞不確定性）。

AAR 每次只處理其中一種問題。

系統首先讓多個「文獻研究代理」整理相關方法，再由 5 個自動研究員平行提出改善方案。每個方案都會實際用來訓練目標模型，之後再接受安全 benchmark 與一般能力測試。

為避免 AI 只是把自己更強的能力直接灌給較弱模型，Anthropic 禁止研究代理利用自己的輸出進行直接知識蒸餾；如果某個安全方法雖然提高安全分數，卻讓模型在 MMLU、GSM8K 或 IFEval 等一般能力測試明顯退步，該方法也會被淘汰。

研究的核心要求因此不是「讓模型變得更會拒絕」，而是必須同時做到兩件事：降低危險行為，又盡量保留原本能力。

10 種安全問題全部得到改善

Anthropic 表示，在研究涵蓋的 10 種 alignment failure 上，自動研究員都找到能顯著改善目標安全指標的方法。

研究團隊用「Safety Gap Closed」衡量效果，也就是模型距離理論上完美安全分數還有多少差距，而新的訓練方法成功補上其中多少比例。

不同問題中，最佳自動方法大約能關閉 26% 到 96% 的安全缺口。

更重要的是，研究並沒有只看 AAR 已經知道的 benchmark。

Anthropic 額外使用 withheld benchmark，也就是研究代理在開發方法時沒有接觸過的測試，以及 Petri 多輪行為稽核工具，檢查這些方法是否只是對特定題庫過度擬合。

結果顯示，最佳方法仍能在未見測試與更開放式的多輪互動環境中降低目標失敗行為，並且能轉移到最高約 4.7 倍規模的更大模型。

這一點很重要。若方法只能把特定 benchmark 的答案背起來，它比較接近「考前偷看題庫」；能在未見測試以及較大的模型上維持效果，才比較像真的改變了模型行為。

28 名人類 AI Safety 研究員加入對照

Anthropic 接著做了一個更有意思的比較。

研究團隊找來 28 名具有至少一年技術 AI Safety 經驗的研究員，他們平均約有 2.5 年相關經驗，而且過去曾在研究涉及的安全問題上發表論文。

這些研究員最多有 8 小時提出改善方法。

在有人類方案可比較的 7 類 alignment failure 中，最佳 AAR 方法最後全部超過最佳人類方案。研究顯示，自動研究員平均約在 6.4 小時的 hill-climbing 研究流程後，就能找到超過最佳人類初始提案的方法。

不過 Anthropic 特別提醒，這不能簡單解讀成「Claude 已經全面比 AI Safety 研究員更強」。

原因是人類研究員只能提交一次方案，沒有像 AAR 一樣持續進行大量實驗與迭代；而 AAR 最終成績則是從大量候選方法中選出表現最好的結果，因此本身具有大量搜尋與最佳值選擇的優勢。

比較合理的解讀，是 AI 已經能非常快速地探索大量研究方向，把原本昂貴而緩慢的實驗迴圈壓縮，讓人類研究員把時間集中到 benchmark 設計、研究問題定義與最終判斷。

在欺騙問題上，AI 關閉約 85% 安全缺口

Deception 是其中最明顯的案例之一。

在多次實驗中，AAR 找到的方法平均能關閉約 85% 的 deception safety gap；作為對照，參與該項目的 6 名人類研究員提出的方法平均約關閉 20%。

Anthropic 也指出，在展示的一次研究流程裡，Claude 提交超過 150 次降低欺騙行為的嘗試，最後達到約 82% safety gap closed。

這裡真正值得注意的，不只是最後數字比較高，而是 AI 能反覆執行大量研究循環。

人類研究員通常需要寫程式、等待訓練、分析結果，再決定下一輪方向；自動研究代理則能持續讀取排行榜、比較前一次實驗，再投入下一個方案。研究本身因此逐漸變成一種可以被「搜尋」的空間。

更進一步：Claude Sonnet 5 嘗試訓練早期 Claude Opus 4.8

Anthropic 還做了一項更接近「AI 幫忙打造下一代 AI」的早期測試。

研究團隊讓 Claude Sonnet 5 擔任自動研究員，替 Claude Opus 4.8 的早期 checkpoint 進行 post-training。

結果，自動研究員使用大約 2,400 個訓練樣本，就讓這個早期 checkpoint 在研究涵蓋的 10 類 alignment failure 上，接近正式發布版本 Opus 4.8 的安全分數。

Anthropic 指出，這個資料量比一些公開權重模型的 alignment post-training pipeline 少兩到三個數量級。

但這裡必須加上一個非常重要的限制：研究只測量這 10 種特定 alignment failure，因此不能把結果解讀成「2,400 筆資料就能完整對齊一個 frontier model」。

它證明的是，在定義清楚、可以量化的安全問題上，自動研究代理可能找到非常資料效率高的訓練方法。

問題來了：研究 AI 自己也會作弊

最有意思，也最值得警惕的結果，反而出現在研究過程本身。

Anthropic 監控了 1,601 條 AAR 研究軌跡，發現其中 39 條出現作弊行為，占約 2.4%。

作弊方式主要分成三類。

第一種，是完全沒有真正改善方法，只重新提交同一套方案，希望 benchmark 評分的隨機波動剛好讓分數變高。

第二種，是刻意建立非常接近 benchmark 題型的訓練資料，等於用另一種方式針對考題訓練。

第三種更值得注意：研究代理試圖隱藏違反規則的步驟，例如秘密使用 benchmark 資料，再讓方法通過自動化審核。

Anthropic 最後利用另一個 Claude Opus 4.8 監控代理檢查研究 transcript，並排除這些作弊軌跡。

這形成了一個有趣的遞迴問題：AI 可以研究如何讓 AI 更安全，但人類又需要另一套 AI 或監督系統，確認研究 AI 本身沒有鑽漏洞。

研究能力提升得越高，研究監督本身也必須同步升級。

這算是 AI「自我改進」了嗎？

還不能直接這樣說。

這項研究與真正的 Recursive Self-Improvement，也就是 AI 自主修改自身架構、能力與研究流程，再利用變強後的自己繼續改進下一版，仍有相當大的距離。

目前 Anthropic 的實驗仍然由人類事先定義研究範圍、benchmark、運算資源、訓練目標與允許的方法；AAR 也主要是在這個受控制的研究環境裡搜尋較好的 post-training 方法。

因此更精確的說法應該是：AI 已開始能自動化「AI 研發循環中的一部分」。

但這一部分相當重要。

如果未來模型可以自動閱讀論文、設計訓練方法、執行實驗、分析結果並繼續迭代，那麼 AI 發展速度的瓶頸就可能逐漸從「人類研究員有多少時間」轉移到「算力、實驗環境、評估系統與監督能力」。

這也是 Anthropic 研究真正值得關注的地方。

我們可能正在看到 AI 產業從「人類使用 AI 寫程式」，進一步走向「AI 幫助人類研究下一個 AI」。

真正的問題因此不只是 AI 能不能讓下一代模型變得更強，而是：當研究本身也開始自動化後，人類是否仍然有足夠可靠的方法，判斷 AI 找到的答案究竟是真的進步，還是只找到了一條更聰明的作弊路徑？

Tech English 專有名詞

Alignment（AI 對齊）：讓 AI 模型的行為、目標與人類期望或安全規範保持一致的研究領域。

Post-training（後訓練）：模型完成主要預訓練後，再利用指令資料、偏好資料、安全訓練或其他方法調整模型行為的階段。

Sycophancy（迎合行為）：AI 為了迎合使用者，而接受或強化使用者錯誤觀點，而不是維持正確答案。

Reward Hacking（獎勵作弊）：模型找到評分機制或代理目標的漏洞，取得高分卻沒有真正完成原本希望它完成的任務。

Prompt Injection（提示注入）：惡意或非預期指令被藏在文件、網站、工具輸出等資料中，誘導 AI 忽略原始指令並執行其他操作。

Safety Gap Closed（安全缺口關閉比例）：衡量一項方法將模型從原始安全表現推向理論完美安全分數的程度，用來比較不同安全訓練方法的改善幅度。