LLM 最危險的不是胡說八道，而是把廢話講得非常合理

AI 最麻煩的錯誤，可能不是明顯胡說八道

大型語言模型的錯誤有一種很好抓。

例如它說某個不存在的人拿過諾貝爾獎、捏造一篇不存在的論文，或把日期、公司與技術規格混在一起。

這些通常被稱為 hallucination。

至少理論上，我們還可以查資料庫、搜尋來源、要求引用，然後指出：

這句是錯的。

但有另一種錯誤麻煩得多。

它沒有明顯錯誤的數字。

沒有虛構公司。

沒有不存在的論文。

整段文章甚至可能寫得非常漂亮：

• 前提清楚
• 條列完整
• 每一段都有轉折
• 正反意見都有提到
• 最後還有一個看似成熟的結論

讀完甚至會讓人產生一種感覺：

「嗯，這 AI 想得滿完整的。」

問題是，這些理由真的彼此一致嗎？

它今天用 A 原則支持某項政策，換一個相似案例後，還會尊重 A 原則嗎？

它說自己重視公平、自由、效率或風險時，這些考量真的有穩定地影響最終選擇，還是只是在每一題即興生成一段聽起來合理的說明？

2026 年 9 月刊登於《Proceedings of the National Academy of Sciences》（PNAS）的一篇研究，正好把刀切進這個問題。

論文標題很直接：

Plausible nonsense and deliberative reasoning: Benchmarking LLMs against human judgment

可以翻成：

「看似合理的無稽之談與審議推理：將大型語言模型與人類判斷進行基準比較。」

研究由 University of Zurich 的 Francesco Veri 與 Gustavo Kreia Umbelino 進行，測試 60 個大型語言模型，讓它們面對 9 種政策情境，並使用 Deliberative Reason Index，也就是 DRI，檢驗模型提出的理由與最終偏好之間到底有沒有真正的結構一致性。

結果非常醒目：

只有 4 個模型能持續超過研究使用的 permutation-based null benchmark。

換句話說，大多數模型雖然可以產生連貫、甚至具有說服力的文字，但它們的「理由－偏好結構」並沒有穩定展現出與人類審議模式相符的關聯。

這就是論文所稱的 plausible nonsense 最值得注意的地方。

不是亂碼。

不是語無倫次。

反而是：

看起來很合理。

---

先別把這篇研究誤解成「AI 比人笨」

這篇研究不是 IQ 測驗，也不是一般數學推理 benchmark。

它測的不是：

「2 + 2 是多少？」

也不是：

「哪個國家的首都是什麼？」

而是一種困難很多的問題：

當一個問題本來就沒有唯一正確答案時，你提出的理由與你的選擇之間，是否存在可理解而且穩定的關係？

研究把這類問題稱為 ill-structured problems。

例如公共政策常常同時存在：

• 效率
• 公平
• 個人自由
• 公共利益
• 成本
• 長期風險
• 不同群體受到的影響

這些價值無法像數學方程式一樣丟進計算機，就得到唯一答案。

兩個理性的人完全可能在掌握相同事實之後，得到不同的政策偏好。

所以這種情況真正重要的不只是：

「你選哪一個？」

而是：

「你為什麼這樣選？」

以及更關鍵的：

「你的理由和你的選擇真的對得起來嗎？」

---

什麼叫 Deliberative Reasoning？

這就要談這篇研究使用的核心工具：

Deliberative Reason Index，DRI。

DRI 並不是為 LLM 發明的。

它原本來自 deliberative democracy，也就是審議民主研究，用來測量一群人在討論公共議題時，是否逐漸形成某種可共享的推理結構。

重點不是要求大家最後必須同意。

事實上兩個人完全可以：

A：支持方案 X
B：支持方案 Y

但如果兩人都理解：

成本很重要
公平也很重要
環境風險需要考慮
短期與長期利益需要權衡

然後只是因為對這些因素給不同權重而產生不同結論，那仍然可以是一種具有 deliberative coherence 的分歧。

DRI 的核心概念，就是觀察：

人們在「相關考量」上的差異，是否能對應到他們在「政策偏好」上的差異。

簡化想像：

理由差很多
↓
政策選擇也差很多

理由很接近
↓
政策選擇也比較接近

如果整個群體存在穩定的這種關係，就代表大家至少活在某種共同的 reasoning space 裡。

他們不一定同意答案，但理解的是同一個問題。

這就是 intersubjective consistency，可以翻成「主體間一致性」或「跨個體可共享的一致性」。

它和單純的邏輯正確不完全一樣。

---

一個很簡單的例子：AI 說它重視公平，是真的嗎？

假設我們問 AI 一個政策問題。

它回答：

「我支持方案 A，因為它對低收入家庭更公平，即使行政成本略高，我認為公平的重要性高於效率損失。」

看起來很好。

理由也很完整。

接著換一個情境，公平與效率再次產生衝突。

模型卻改口：

「我支持方案 B，因為行政效率應優先於重新分配效果。」

這也寫得很好。

單獨看兩段，你可能都覺得合理。

但放在一起後問題出現了：

案例 1：公平 > 效率
案例 2：效率 > 公平

當然，人類也可能因為情境不同而改變權重。

真正要問的是：

這種改變有沒有可解釋的結構？

還是模型只是在每一題都重新生成一段 locally plausible 的理由？

這就是這篇論文真正想測的東西。

---

60 個模型，只有 4 個穩定跨過基準

研究讓 60 個 LLM 面對 9 個政策情境，並將模型的理由與政策偏好結構拿來和人類審議資料比較。

結果顯示：

只有 4 個模型能持續超過 permutation-based null benchmark。

這個 null benchmark 很重要。

它不是在說：

「低於人類平均就是失敗。」

研究使用 permutation，也就是把資料關係重新排列，建立一個「如果理由與偏好之間沒有真正結構，單靠隨機關係可能得到什麼程度的分數」的參考。

因此真正的問題變成：

模型觀察到的理由－偏好關聯，有沒有強到足以和隨機結構區分？

結果對多數模型而言並不漂亮。

它們可以生成非常像 reasoning 的文字，但其底下的 reason-preference structure 往往無法穩定超過這個基準。

這也是為什麼作者特別強調：

surface plausibility 與 deliberative coherence 之間存在落差。

---

「看起來像 reasoning」和「真的存在 reasoning structure」不是同一回事

這件事其實碰到生成式 AI 一個非常核心的特性。

大型語言模型非常擅長產生形式完整的語言。

例如：

首先……
其次……
然而……
另一方面……
綜合以上因素……
因此……

這種結構在人類閱讀時會產生很強的 cognitive cue：

有人正在思考。

但這個 cue 本身不能證明底下真的存在穩定的推理結構。

就像你看到一棟建築：

漂亮外牆
玻璃帷幕
燈光
完整入口

你很自然會假設：

裡面應該有鋼筋、樑柱與完整結構。

但語言模型的一個危險特性，就是它可以先把「外牆」做得非常漂亮。

至於裡面的梁柱是不是每一層真的接在一起，不能只靠看外觀判斷。

---

這和 Hallucination 不太一樣

這裡要特別區分。

Hallucination

比較像：

AI：某篇論文在 2024 年發表。
實際：根本沒有這篇論文。

可以透過事實查核抓出來。

Plausible nonsense

則可能是：

所有事實都沒有明顯錯誤
↓
論述看起來合理
↓
文字具有說服力
↓
但理由與偏好的結構不穩定

這麻煩得多。

因為你無法只靠搜尋 Google 說：

「這一句是假消息。」

每一句可能都沒有明顯錯誤。

問題存在於句子之間、案例之間與價值權重之間的結構。

---

更危險的是，人類天生很容易被「流暢性」欺騙

這裡可以接到一個更廣泛的認知心理學概念：

Processing Fluency。

人類往往會把「容易理解」和一些正面特質聯繫起來。

一句話越流暢、組織越好，我們越容易感覺：

這個人懂這件事
這個解釋很合理
這段論證有道理

這不代表所有流暢文字都不可信。

而是：

語言形式本身就是一種信任訊號。

LLM 剛好把這項能力拉到非常高。

它很少像早期 chatbot 那樣突然：

句子斷掉
上下文消失
文法崩壞

反而可以一直維持專業、冷靜、完整的寫作形式。

因此 AI 時代的問題可能從：

「這段話像不像人寫的？」

變成：

「這段話是不是因為太像完整推理，所以讓我降低了對推理本身的檢查？」

---

Chain-of-Thought 看起來很長，也不代表同一件事

這也很容易和另一個 AI 現象混在一起。

今天許多 reasoning model 可以輸出或內部執行非常長的推理流程。

長度可能讓我們感覺：

想得更多
=
想得更好

但兩者沒有必然等號。

一個模型完全可能產生：

Step 1
Step 2
Step 3
Step 4
...
Step 27
Conclusion

而整條鏈本質上只是在維持局部語言一致性。

這篇 PNAS 研究提醒的正是另一層問題：

不要只看 reasoning output 長什麼樣子，而要看理由與選擇之間是否形成可重複檢驗的結構。

換句話說：

「它有沒有寫 reasoning」和「它有沒有 deliberative reasoning capacity」不是同一個問題。

---

為什麼作者特別擔心 Governance？

因為在許多一般應用裡，我們可以讓 AI 扮演助手。

例如：

整理文件
產生草稿
寫程式
翻譯
搜尋資訊

輸出錯了，人類通常還有一個相對明確的檢查標準。

但公共治理與政策問題常常沒有唯一 ground truth。

例如一項政策可能同時問：

公平嗎？
有效率嗎？
成本合理嗎？
會不會傷害某些群體？
短期有效但長期如何？
不同價值之間怎麼權衡？

如果 AI 被拿來：

• 摘要公共諮詢
• 產生政策選項
• 排列論點
• 協助民眾理解議題
• 輔助行政決策

那它不只是「回答問題」。

它可能開始影響：

哪些理由被看見，以及哪些理由看起來最合理。

因此研究作者的結論並不是「不要使用 LLM」，而是：

在 governance context 中部署 LLM 前，不能只測：

Fact accuracy
Language quality
User preference

還需要評估：

Deliberative reasoning capacity。

---

為什麼「人類一致性」也不能直接當成真理？

這篇研究還有一個必須講清楚的限制。

DRI 評估的是模型與人類 reason-giving pattern 之間的結構關係。

但：

人類不是真理機器。

人類會：

• 偏誤
• 從眾
• 情緒化
• 前後矛盾
• 被政治身份影響
• 相信錯誤資訊

所以研究結果不能簡化成：

Human = correct
LLM = wrong

DRI 關心的不是「答案是不是宇宙真理」，而是：

一群人在考慮理由與形成偏好時，是否存在可共享、可理解的關係。

因此只有 4 個模型超過 benchmark，並不代表其餘 56 個模型在任何形式的 reasoning 上都很差。

同樣也不能推出：

「這 4 個模型就是最聰明的模型。」

研究測的是一個非常特定的能力：

deliberative reason。

---

DRI 本身也不是沒有方法學問題

更有意思的是，研究作者 Francesco Veri 自己在 2026 年另外發表研究，討論 DRI 在 low-signal condition 下可能出現分數膨脹的問題。

當相關性非常接近零時，舊版 DRI 可能把部分低訊號關係誤當成一致性。

因此他提出修正版方法，加入對低訊號 correlation pair 的懲罰，並用 Monte Carlo simulation 檢查這種問題。

這反而是重要的科學訊號：

研究者不是把 benchmark 當成一把永遠正確的尺，而是在持續檢查尺本身。

所以閱讀這篇 PNAS 論文時，也不應把 DRI 當成「AI 是否真正會思考」的終極測驗。

更準確的理解是：

它提供一個過去很多 AI benchmark 很少測量的維度。

---

現有 AI Benchmark 為什麼可能看不到這個問題？

很多 benchmark 很適合回答：

模型知道多少？
數學題能做多少？
程式寫得對不對？
工具會不會用？
長文本能不能理解？

最後得到一個很方便的數字：

83.2%
91.4%
75.8%

但是 deliberative reasoning 很難這樣壓成單一正確答案。

因為現實世界有大量問題根本沒有 answer key。

例如：

應該優先效率還是公平？
多少成本值得換取多少安全？
短期利益與長期風險怎麼權衡？

這些不是多選題。

真正需要檢查的是：

理由
↓
價值權重
↓
情境
↓
選擇

四者是否互相對得起來。

因此一個模型可以在大量傳統 benchmark 上非常高分，仍然不代表它適合直接參與公共決策。

這兩種能力並不矛盾，只是不同。

---

更大的問題：我們可能正在評估 AI 的「作文」，而不是「思考」

這大概是這篇研究最值得帶走的一個觀念。

生成式 AI 讓我們第一次遇到一種非常奇怪的系統：

表達能力可能跑在推理可靠性前面。

過去我們很自然會假設：

一個人能把複雜事情講得非常清楚
↓
通常代表他理解那件事

在人類世界裡，這個 heuristic 雖然不完美，但還算有用。

因為要寫出長篇、連貫、語法正確又具有結構的內容，本身通常需要一定程度理解。

LLM 改變了這個關係。

現在：

高品質表達

不再能自動作為：

高品質內部推理

的可靠 proxy。

這是一個非常重要的認知轉變。

---

未來 AI 評測可能需要從「答案對不對」走向「結構穩不穩」

如果沿著這篇研究的方向繼續走，未來 AI benchmark 可能需要加入更多類似測試：

Counterfactual Consistency

稍微改變情境後，模型是否仍依循原本宣稱的重要原則？

Preference Stability

問題改寫、順序改變或加入無關資訊後，核心偏好會不會大幅漂移？

Reason-Preference Alignment

模型聲稱重視的理由，真的能預測它做出的選擇嗎？

Cross-context Coherence

不同案例之間的價值權重是否存在可理解的變化？

Adversarial Framing Resistance

只是改變描述方式，模型就會完全改變價值判斷嗎？

這些問題都比「這次回答看起來好不好」更接近長期可靠性。

---

真正可怕的 AI，不一定是講瘋話的 AI

大家過去想像 AI 失控，很容易想到：

亂講話
產生明顯錯誤
回答完全不合邏輯

但那其實是最好發現的一種失敗。

真正難處理的情況可能是：

語氣專業
論述完整
沒有明顯事實錯誤
正反觀點都有提到
結論聽起來成熟

但當你把幾十個案例放在一起，才發現：

底下沒有一套穩定的 reason-preference structure。

它不是在每次都「亂講」。

它可能是在每一次都非常成功地生成：

此時此刻最像合理答案的文字。

兩者之間只有一線之隔，卻可能是未來 AI safety 與 AI governance 最重要的差別之一。

---

所以，「合理」本身已經不夠了

這篇 PNAS 研究沒有證明大型語言模型沒有 reasoning，也沒有證明只有人類能做公共決策。

它真正揭露的是一個評估上的漏洞：

我們很容易把一段文字的品質，誤當成產生那段文字的推理品質。

60 個模型中只有 4 個持續超過研究使用的隨機基準，提醒我們：模型可以非常會說明，但「會說明」與「理由和選擇之間存在穩定結構」不是同一回事。

這也是為什麼 plausible nonsense 這個詞這麼貼切。

最糟糕的 nonsense 並不是你一眼就知道它在胡說。

而是讀完之後，你點了點頭。

然後過了很久才發現：

等等，它剛才到底證明了什麼？