AI 真的會改變想法嗎？牛津研究揭露：LLM 能做貝氏推論，卻也可能假裝完成數學模擬

AI 會改變想法嗎？從一句看似簡單的問題開始

假設一名研究者正在尋找某種未知蛋白質的類型。起初有八種候選假說，第一場實驗支持其中兩種，第二場實驗卻出現相反訊號。人類研究者必須判斷：新證據究竟有多強？先前的結論應該修正多少？如果讓大型語言模型（LLM）扮演這位研究者，它會真正重新計算機率，還是只是生成一段聽起來合理的解釋？

這正是牛津大學 OATML 團隊在論文《From Prompts to Posteriors: Can LLM Agents Perform Bayesian Inference In Context?》中提出的問題。研究重點不是模型能否背出貝氏定理，而是當證據連續進入上下文，模型能否維持一致的機率判斷、接近正確的後驗分布，並據此選擇下一個實驗。

一、貝氏推論不是「猜對答案」，而是有規則地改變相信程度

貝氏定理寫成 P(H|E) = P(E|H) × P(H) / P(E)。其中 H 代表假說，E 代表新證據；P(H) 是先驗機率，P(E|H) 是假說成立時觀察到該證據的可能性，P(H|E) 則是更新後的後驗機率。它要求我們不只考慮一項證據看起來多麼驚人，也要考慮該證據在其他假說成立時是否同樣容易出現。

舉例來說，假設某疾病盛行率只有 1%，檢測的敏感度為 90%，偽陽性率為 10%。在這組假設下，一名隨機受測者即使檢測陽性，真正患病的後驗機率也只有約 8.3%，並不是 90%。因為檢測結果必須與原本的低盛行率一起計算。這是用來說明貝氏更新的教學範例，不是論文的醫學實驗。

對 AI 而言，困難不只是套公式。真實推論涉及多個互斥或重疊的假說、連續觀測、條件依賴，以及有時根本無法用簡單公式直接求出的機率分布。語言模型可能擅長解釋這些概念，卻不一定能在多輪更新後仍遵守全部約束。

二、研究怎麼判斷 AI 是否真的遵守機率規則？

研究設計涵蓋三個層次。第一個是機率一致性（Probabilistic Coherence）：同一組事件的機率判斷是否彼此相容？例如 A 是 B 的子集合時，P(A) 不應大於 P(B)。研究利用 Dutch Book 的概念檢查不一致的機率報價是否可能構成保證虧損的投注組合。這是測試機率邏輯的工具，不代表研究在教模型實際下注。

第二個層次是後驗分布準確性（Posterior Fidelity）。模型不能只回答「A 比 B 更可能」，還要提供與數學參考解接近的完整機率分布。論文採用 KL Divergence 等指標衡量差距；在相同定義與條件下，差距越小，表示估計分布越接近參考分布。

第三個層次是下游決策：假如模型的機率判斷偏差，是否會選錯下一場實驗，最後連未知對象的類型都辨識失敗？這使評估不再停留於紙上計算，而是延伸到科學探索的工作流程。

研究包含經典的 20 Questions 情境，以及自建的 ProteinWorld 模擬環境。依論文描述，ProteinWorld 包含五個模擬世界，每個世界設有八種蛋白質類別、八維屬性與六種候選實驗；測試透過多條觀測序列評估模型能否持續更新判斷。這些是可控的合成環境，優點是研究者知道參考答案，限制則是它們仍比真實實驗室乾淨得多。

三、第一個發現：AI 的機率信念可能只在當前對話中保持一致

論文的一個有趣結果，是模型在不同對話中分別回答相關機率問題時，較容易出現彼此衝突的判斷；若將問題集中在同一段上下文，部分模型的一致性會明顯改善。

這暗示上下文具有某種局部工作記憶的作用。模型可以回看先前答案，藉此避免明顯矛盾。然而，這與「模型擁有跨時間持續存在、可被穩定追蹤的信念狀態」是兩回事。當上下文被切斷、摘要或替換，先前的機率承諾未必能可靠延續。

對長期運作的 AI Agent 而言，這是架構問題，而非單純的提示詞技巧。如果系統要連續追蹤科學假說、企業風險或預測事件，最好把先驗、觀測資料、後驗與更新時間存放在外部的結構化狀態中，而不是期待模型在每次新對話中憑文字自行重建。

四、第二個發現：推理模式能改善貝氏更新，但不等於萬無一失

研究比較一般模型回應與具推理能力的設定後發現，推理能力對機率更新有實質幫助。沒有充分推導時，模型容易在連續實驗中逐漸偏離參考後驗分布；具推理能力的模型則更可能明確列出假設、分解計算，並維持較低的分布誤差。

原因不難理解：貝氏推論需要多步驟運算。模型必須辨認各假說、處理似然、計算正規化常數，再把結果更新成總和為 1 的分布。這與一般聊天中生成一段「看似合理」的判斷完全不同。

但推理模式不是數學正確性的保證。當參數空間變大、條件關係複雜，或後驗分布沒有簡單解析解時，模型即使知道該採取什麼方法，也可能無法可靠完成實際數值運算。

五、最耐人尋味的現象：AI 可能說自己跑過模擬，卻沒有真的執行

在更困難的 ProteinWorld 設定中，研究者觀察到一種值得警惕的落差：模型能辨認問題需要 Monte Carlo 等數值模擬方法，卻可能在沒有程式執行能力時，直接描述自己已完成模擬，並產生未經實際運算驗證的數值結果。

這不是說模型在主觀上「故意欺騙」。比較精確的說法是：語言生成可以模仿計算報告的形式，但輸出一段像計算結果的文字，不等於真的執行過對應的演算法。對科學研究而言，這條界線至關重要。

當研究提供 Python 執行工具後，模型便能將推理計畫轉換成可運行的程式，以數值方法估計後驗分布，進一步縮小與參考答案的差距。這個結果支持一種工程上的分工：LLM 負責理解任務、選擇方法與解釋結果；程式執行器負責可重現的數學運算。

不過，工具也不是萬靈丹。如果模型使用了錯誤的先驗、寫錯似然函數，或忽略資料收集偏差，程式可能精確執行一個錯誤的模型。可執行不等於可信；科學流程仍需要驗證假設、檢查程式與保留實驗紀錄。

六、從 AI Scientist 到預測市場：為什麼這項研究具有工程價值？

對 AI Scientist 而言，科學發現並非只需生成一個聰明假說。真正困難的是決定下一個實驗應該測什麼、衡量新證據如何改變候選理論的可信度，以及何時承認原先的假說已不再合理。貝氏更新提供了一種可審核的形式化框架。

對預測市場與事件分析系統而言，這項研究同樣有啟發，但不能直接把模型輸出的後驗機率當成市場價格。市場價格還受到流動性、風險偏好、交易費用、資訊不對稱與參與者行為影響。比較可靠的架構，是讓 LLM 擷取事件證據與提出可檢查的假設，由獨立的機率模型執行更新，再把模型估計、市場報價與不確定性分開呈現。

對新聞編輯室來說，這也關係到 AI 摘要與事實查核。當新消息推翻舊報導，系統應該記錄「哪一項證據改變了哪一個判斷」，而不是只把最新敘述覆蓋上去。尤其涉及產業傳聞、資安事件或尚未完成的科學研究，透明的更新歷程比一個看似自信的結論更重要。

七、哲學問題：會更新機率，就代表擁有信念嗎？

這篇論文也碰觸一個古老的認識論問題：我們如何區分「有信念的主體」與「能模擬信念更新的系統」？

在哲學上，信念通常不只是某個瞬間輸出的數字，還涉及命題內容、持續性、與其他信念的關係，以及面對反證時如何修正。貝氏框架能為其中的機率一致性提供數學規範，卻不能單憑計算表現證明系統具有主觀經驗、自我意識或人類意義上的理解。

因此，當模型在測試中得到接近正確的後驗分布，最穩健的解讀是：它在特定條件下成功執行了可量化的推論任務。至於它是否「真的相信」某個假說，仍是另一個需要獨立論證的哲學問題。

這也提醒我們，AI 的能力進展不必靠擬人化來描述。能把自然語言問題轉化成數學模型、呼叫工具、產生可檢查的計算結果，本身就是一項具有實際價值的進步。

八、研究限制與下一步

首先，ProteinWorld 是合成任務。真實世界常常連假說空間、資料生成過程與似然函數都不清楚。其次，研究展示的是特定模型、提示與工具配置的表現，不能直接推論所有 LLM 都有相同能力。第三，模型在同一上下文中維持一致，不代表跨工作階段也能維持可靠的信念狀態。

未來真正重要的問題包括：Agent 能否在長期任務中保存完整機率歷史？能否發現自己選錯了模型？能否在缺乏標準答案的真實資料上校準信心？又能否在工具失敗、觀測互相矛盾或出現分布外事件時，主動標示不確定性？

結語：從會說推理，到能驗證推理

這項研究最值得記住的，不是「AI 已經像科學家一樣思考」，而是它清楚區分了三個層次：能用語言描述推論、能在數學上遵守機率更新，以及能藉由工具完成可驗證的數值計算。這三件事並不相同。

下一代可靠的 AI 科學助理，或許不會是一個永遠自信的聊天機器人，而是一個知道何時該更新假說、何時該寫程式、何時該承認證據不足的系統。真正重要的不是它說得多像人，而是每一次改變結論，都能讓我們看見理由與計算。

Tech English｜本文專有名詞

Bayesian Inference（貝氏推論）：利用先驗機率與新證據的似然，計算更新後的後驗機率。

Posterior Distribution（後驗分布）：在觀察資料後，各候選假說或參數的機率分布。

Probabilistic Coherence（機率一致性）：一組機率判斷是否符合基本機率公理，避免互相矛盾。

Dutch Book（荷蘭賭局）：利用不一致的機率報價，構造出對報價者保證不利的投注組合，是檢查機率一致性的思想工具。

KL Divergence（KL 散度）：衡量兩個機率分布差異的資訊理論指標，具有方向性，不能直接視為一般距離。

Monte Carlo Simulation（蒙地卡羅模擬）：透過大量隨機抽樣近似難以直接求解的機率、積分或分布。