當 AI 說「開火」,人類真的還在做決定嗎?新研究直指軍事 AI 最危險的不是自主開火,而是人類失去判斷能力

晶片觀測站2026/09/2316 min read
分享

30秒摘要

一篇 2026 年 9 月發表的新論文把軍事 AI 的倫理爭論重新拉回一個更根本的問題:真正重要的不只是 AI 能不能殺人,而是當目標辨識、威脅排序、情報整合與攻擊建議越來越交給不透明模型時,人類是否仍具備足以理解、質疑並推翻系統判斷的能力。研究者將這稱為一個根本的 epistemic problem,並指出 AI 會讓責任分散在設計者、操作員、指揮官與政策制定者之間,形成 accountability gap。論文因此提出具名責任角色、未知基準的對抗式稽核、分級部署門檻與 NATO 評測標準,並透過 1988 至 2025 年八起紀錄案例進行反事實分析。真正令人不安的未來,或許不是一架完全自主的機器突然自行決定殺人,而是一套仍然標榜 Human-in-the-loop 的系統,實際上已經把人類變成 AI 決策最後的確認按鈕。

重點摘要

  1. 01研究將軍事 AI 的核心倫理困境定義為 epistemic problem,而不只是在爭論自主武器是否可以殺人。
  2. 02人類出現在 decision loop 中,不代表仍然具有 meaningful human control。
  3. 03AI 可能透過目標分類、排序與建議,在人類做出最終決策以前就深度塑造判斷。
  4. 04責任可能分散在模型設計者、資料團隊、承包商、操作員、指揮官與政策制定者之間,產生 accountability gap。
  5. 05論文提出具名責任角色、未知 benchmark 的對抗式稽核、分級部署門檻與 NATO evaluation standard。
  6. 06對 1988 至 2025 年八個紀錄案例的反事實分析顯示,沒有任何單一 safeguard 足以獨立解決軍事 AI 的風險。
  7. 07真正需要保護的可能不只是 human control,而是人類理解、質疑與拒絕 AI 建議的能力。

軍事 AI 最困難的問題,可能從來都不是「機器能不能殺人」

談到 Artificial Intelligence 與戰爭,人們通常很快就會想到同一幅畫面。

一架無人機在沒有操作員命令的情況下辨識目標、追蹤、鎖定,最後自行發射武器。

接著問題自然變成:

我們應不應該允許機器自行決定殺死一個人?

這確實是一個重要問題。

但 2026 年 9 月發表的論文《The Ethics of Artificial Intelligence in Military Operations》提出了一個更加麻煩的問題。

作者 Nicolas Drapier、Florian Mauberger、Aladine Chetouani 與 Aurelien Chateigner 認為,軍事 AI 的核心倫理困境,本質上其實是一個 epistemic problem,也就是認識論問題。

簡單來說,它問的並不是只有:

AI 有沒有權力做這個決定?

而是:

人類究竟知不知道自己正在根據什麼做決定?

如果一個人類操作員最後仍然要按下 Attack、Approve 或 Confirm,制度上看起來似乎仍然保留了 Human-in-the-loop。

但如果在那個按鈕之前,AI 已經完成:

感測器資料融合、影像分類、人物辨識、威脅排序、目標推薦、行動預測、附帶損害估計與攻擊方案生成,

那麼最後那個人類還是不是我們通常理解的「決策者」?

這就是這篇論文真正值得注意的地方。

它把焦點從:

Who pulls the trigger?

移到:

Who actually constructs the judgment that makes pulling the trigger seem reasonable?

這兩個問題,看起來很接近,實際上卻完全不同。


一個 94% 的數字,可能比一架自主無人機更危險

假設某套軍事 AI 系統向操作員顯示:

HOSTILE TARGET CONFIDENCE: 94%

從介面設計角度來看,這只是一個數字。

但從心理學與認識論角度來看,它非常強大。

因為操作員看到的不是模型內部真正發生的事情。

他看不到數百萬或數十億個參數如何共同產生這個判斷。

他也未必知道:

訓練資料來自哪裡。

94% 是否經過 calibration。

模型是否曾在這種地形接受測試。

這次感測器是否遭到干擾。

敵人是否知道這套模型的弱點。

熱成像是否因天候失真。

目標行為是否超出 training distribution。

資料是否過時。

模型對於 civilian、combatant 或 civilian object 的分類,在這個特定環境裡究竟有多可靠。

也就是說,人類看見了答案,卻未必掌握支持這個答案的完整知識。

這正是 epistemic problem 的核心。

AI 系統可能提高資訊處理速度,同時降低人類對資訊來源與推理過程的可見性。

我們得到更多 intelligence,卻不一定得到更多 understanding。


「94% Confidence」甚至不一定代表你以為的 94%

這裡還有一個工程上很容易被忽略的問題。

Machine Learning 裡的 confidence score,不一定能直接理解成:

『這個目標有 94% 的機率真的是敵人。』

一個模型可能非常 confident,同時仍然是錯的。

如果模型 calibration 不佳,它輸出的 94% 可能並不代表在一百個類似案例裡大約九十四個正確。

而在 battlefield environment 裡,問題還會更加複雜。

因為戰場不是固定 benchmark。

它存在:

偽裝、煙霧、夜間環境、設備受損、GPS denial、Electronic Warfare、資料缺失、敵方欺騙、誘餌與刻意設計的 adversarial behavior。

商業 AI 遇到 distribution shift,最糟可能是推薦錯商品。

軍事 AI 遇到 distribution shift,可能是把 civilian object 分成 military target。

因此真正重要的不是:

模型在測試集有多少 Accuracy。

而是:

模型在這一次任務、這一片天空、這組感測器、這種敵方干擾與這個時間壓力下,是否仍然值得被相信。

這也是軍事 AI evaluation 比一般 AI benchmark 困難很多的原因。


Human-in-the-loop 聽起來很好,但人類真的還在 loop 裡嗎?

AI 軍事倫理裡最常出現的一個概念,就是 Human-in-the-loop。

直覺上,它提供了一個很漂亮的安全答案:

AI 可以分析。

AI 可以推薦。

但最後一定由人類決定。

問題似乎解決了。

但其實沒有。

因為真正重要的不是人類是否存在於 decision chain 裡,而是:

人類有沒有 meaningful control。

假設 AI 已經花 0.4 秒完成資料融合,接著一次列出 34 個可能目標。

其中一個目標顯示:

Threat Level: CRITICAL

Confidence: 94%

Time to threat: 16 seconds

Recommended Action: ENGAGE

而操作員只剩下十幾秒做決定。

理論上,他可以拒絕。

實際上,他必須在幾秒內推翻一套自己無法完整理解、處理速度又遠超過自己的系統。

此時 Human-in-the-loop 可能逐漸退化成:

Human watching the loop.

甚至最後變成:

Human approving the loop.

人還在介面裡,但判斷的真正生成過程已經逐漸離開人類。


Automation Bias:當電腦看起來比你更確定

這並不是純哲學假設。

人機互動研究很早就知道一種現象:Automation Bias,自動化偏誤。

當自動化系統通常表現良好時,人類會逐漸傾向接受它的答案。

這在普通工作裡已經存在。

導航說左轉,我們左轉。

拼字檢查說錯字,我們修改。

推薦系統說這封信是 Spam,我們很少重新檢查。

但軍事環境裡,Automation Bias 的後果可能巨大。

尤其當系統同時具有三項特性:

速度比人快、資料量比人多、歷史準確度比人高。

人類會逐漸產生一個非常合理的心理模型:

機器通常比我知道得更多。

問題就在這裡。

如果一套 AI 過去 999 次都判斷正確,第 1000 次它突然錯了,人類反而可能更難發現。

因為系統過去的成功已經累積了 trust。

這產生了一個很微妙的 paradox:

AI 越可靠,人類越可能在它真正犯錯的那一次失去警覺。


真正的風險不是 AI 取代 Commander,而是 Commander 開始依賴 AI 才能 Commander

這裡就進入論文更深的哲學問題。

如果一個指揮官長期使用 AI Decision Support System,會發生什麼?

最開始是:

Human Decision + AI Assistance

接著可能變成:

AI Analysis + Human Decision

再來:

AI Recommendation + Human Approval

最後:

AI Decision + Human Authorization

介面上的人類位置可能完全沒有改變。

但實際 moral agency 已經逐漸轉移。

這也是近年的軍事 AI 倫理研究特別擔心的一點:AI 不一定需要正式取得 command authority,才能實質影響甚至重塑人類的 moral agency。

人類可能仍然是法律上的決策者,卻越來越依賴 AI 建構決策所需的世界模型。

而一旦形成這種依賴,你就不能只靠一個『Human Approval Required』checkbox 來證明控制仍然存在。


國際人道法本身其實假設「有人能判斷」

這也是論文把 International Humanitarian Law,也就是 IHL,拉進來的原因。

國際人道法中的許多核心原則,本質上都不是單純數學條件。

例如 Distinction,區分原則。

作戰方需要區分 civilian 與 combatant,以及 civilian object 與 military objective。

又例如 Proportionality,比例原則。

即使某個目標確實是合法 military target,如果預期 civilian harm 相對於具體而直接的 military advantage 過度,攻擊仍可能不可接受。

注意其中的語言:

『過度』。

這不是單純:

Civilian casualty < 5 = OK

Civilian casualty > 5 = NOT OK

它涉及 context、預測、價值判斷、不確定性與軍事必要性。

也就是說,法律本身預設存在一個能夠理解情境並做 judgement 的人類主體。

問題是:

如果 AI 已經把所有複雜情境壓縮成 Risk 72、Confidence 94%、Recommended Action: Strike,人類到底是在做 proportionality assessment,還是在閱讀模型的 assessment?

這就是論文所指出的 epistemic condition 與 IHL 之間的摩擦。


Accountability Gap:每個人都參與,最後卻沒有人完整負責

另一個核心問題是 Accountability Gap,責任缺口。

傳統武力決策鏈相對容易理解。

Commander 下令。

Operator 執行。

如果程序、情報或命令出現問題,可以沿著 chain of command 追查。

但 AI 進來之後,decision chain 可能變成:

Sensor

↓

Data Pipeline

↓

Object Detection Model

↓

Threat Classification Model

↓

Sensor Fusion

↓

Decision Support System

↓

Operator

↓

Commander

↓

Weapon System

如果結果錯了,責任在哪?

資料工程師可能說:

『我們只負責 dataset。』

模型工程師:

『模型的 validation performance 符合需求。』

承包商:

『系統按照 contract specification 工作。』

操作員:

『介面顯示 94% hostile。』

指揮官:

『我根據當時可取得的 intelligence 做決定。』

政策制定者:

『部署已經通過正式程序。』

最後會產生一個很奇怪的系統:

每一個人都參與了造成結果的因果鏈,但沒有任何一個人真正理解完整的因果鏈。

責任因此不一定消失,而是被切碎。

這就是 accountability gap。


「黑箱」真正麻煩的地方不是看不懂神經網路,而是責任不能進入黑箱

Machine Learning 經常被稱為 Black Box。

但在軍事 AI 裡,把問題簡化成『我們需要 Explainable AI』其實還不夠。

因為即使模型能產生 explanation,也不代表 explanation 就真的揭露模型的 causal reasoning。

很多解釋工具只能說:

哪些 features 對結果影響較大。

它們不一定能回答:

模型為什麼在這一次特定情況犯錯。

更重要的是,倫理與法律責任不能被一句:

『Neural network 比較複雜。』

吸收掉。

因此治理問題不是要求每個 Commander 都理解 Transformer、gradient descent 或 convolution。

真正需要的是:

他是否知道系統能力邊界?

失敗條件?

不確定性?

資料來源?

部署限制?

以及什麼情況下應該停止相信模型?

這才是 meaningful human judgment 所需要的 epistemic foundation。


論文第一個解法:Named Accountability Roles

作者提出的第一個機制是 Named Accountability Roles,也就是具名責任角色。

這看起來很行政,但其實非常重要。

因為複雜 AI 系統最大的治理問題之一,就是責任很容易落入:

『整個團隊負責。』

『供應商負責模型。』

『軍方負責部署。』

這種模糊區域。

具名責任角色的核心,是在事故發生以前就回答:

誰負責確認 dataset suitability?

誰負責 model validation?

誰可以批准 deployment?

誰負責設定 operational envelope?

誰有權暫停模型?

誰負責記錄 incident?

誰最終負責某一類 decision?

這讓 accountability 從事後追究,變成系統設計的一部分。

責任不能等事故發生之後才開始尋找。


第二個解法非常有 AI 味:不要告訴模型開發者完整考題

論文提出 Adversarial Auditing with Undisclosed Benchmarks。

這可能是整篇對今天 AI industry 最有共鳴的一點。

因為所有 AI benchmark 都存在同一個基本問題:

只要知道考試內容,就可以開始為考試最佳化。

LLM 世界已經很熟悉 benchmark contamination、training contamination 與 benchmark gaming。

當 benchmark 公開後,模型開發者可以間接甚至直接針對測試分布最佳化。

最後你得到的可能是一個:

Benchmark 95 分

Real World ???

的系統。

普通聊天模型刷榜最多讓排行榜變得沒意義。

軍事 AI 如果發生相同問題,後果完全不同。

你可能把一個『非常會考試』的 target recognition model 部署到現實戰場。

因此作者提出部分 evaluation benchmark 應該保密,並透過 adversarial auditing 刻意尋找 failure mode。

不是問:

我們能不能證明它很好?

而是:

我們能不能想辦法讓它失敗?

這其實就是 Red Team 思想。

真正的安全測試,不是在幫產品證明安全,而是在主動尋找證明它不安全的方法。


軍事 AI 的 benchmark 必須比 ImageNet 殘酷得多

如果要把 adversarial auditing 真正落地,軍事 AI 的測試環境必須非常不同於一般 ML benchmark。

因為敵人不是自然分布。

敵人會主動攻擊你的 model assumptions。

這意味著 evaluation 不只應該測:

晴天、正常攝影機、完整 sensor feed。

還應該測:

低能見度。

部分感測器失效。

GPS denied environment。

偽裝。

decoy。

錯誤 metadata。

影像 compression artifact。

電子干擾。

data poisoning。

spoofing。

未知裝備。

從未在 training data 出現的行為。

以及最麻煩的:

一個知道你模型存在、並刻意想騙它的人類敵手。

這就是 adversarial environment 與普通 deployment 最大的差異。

Google Photos 不會遇到一群敵軍工程師每天研究如何讓分類器看錯。

軍事模型會。


第三個解法:Tiered Deployment Thresholds

論文提出的第三個機制,是 Tiered Deployment Thresholds,分級部署門檻。

這個概念比『AI 可以用 / AI 不可以用』成熟很多。

因為 military AI 並不是單一類型。

AI 幫忙整理物流紀錄,跟 AI 推薦攻擊目標的風險完全不同。

因此合理治理不應該只有一個 approval gate。

而應該按照任務的 consequence 與 reversibility 建立不同 threshold。

概念上可以理解成:

低風險 administrative task

→ 較低部署門檻

Intelligence analysis

→ 更嚴格資料與模型驗證

Target recognition

→ 更高 robustness 與 human oversight

Target prioritization

→ 更高 explainability、auditability 與 operational restriction

Use-of-force recommendation

→ 極高部署門檻

Autonomous lethal action

→ 最高等級限制

越接近不可逆結果,部署所需證據就越多。

這其實跟 Safety Engineering 非常接近。

一個 calculator 出錯與 aircraft flight-control system 出錯,不能套用相同的 certification standard。

同樣地,生成一份情報摘要與推薦一個 lethal target,也不能因為它們都叫 AI 就套同一套 Responsible AI checklist。


第四個解法:軍事 AI 可能真的需要類似 NATO STANAG 的標準

作者進一步提出 NATO Evaluation Standard。

這一點特別有現實意義。

因為未來 NATO 或其他 coalition operation 很可能不是使用同一套 AI。

美國可能有自己的模型。

英國使用另一家承包商。

法國使用自己的 sensor system。

波蘭可能採購不同 drone platform。

每個國家又可能有:

不同 dataset。

不同 model architecture。

不同 Rules of Engagement。

不同 confidence threshold。

不同 acceptable risk。

但聯合作戰時,它們最後可能要共享同一個 battlefield picture。

那麼問題就出現了:

A 國標成 Hostile 的 target,B 國敢不敢直接使用?

如果沒有共同 evaluation language,AI 系統之間的 interoperability 就不只是資料格式問題,而是 trust 問題。

因此未來標準可能不只規定:

資料怎麼傳。

API 怎麼接。

而是規定:

模型怎麼測。

confidence 怎麼校準。

failure 怎麼記錄。

哪些資料必須保留 traceability。

部署邊界如何定義。

如何進行 adversarial evaluation。

human override 在什麼情況必須有效。

如果真的走到這一步,AI safety 就會從一套原則,變成與軍事 interoperability 相同等級的工程規範。


八個案例最重要的結論:沒有任何一個 Safeguard 單獨有效

根據論文摘要,作者對 1988 至 2025 年八起有紀錄的案例進行 counterfactual analysis,也就是反事實分析。

需要特別說明,目前可取得摘要並沒有列出八起案例的完整名稱,因此不能可靠地逐案重建。

但論文摘要明確公布了整體結果:

每一項治理機制都能對應某一類已經被記錄的 failure。

然而:

沒有任何一項 safeguard 單獨就足夠。

這其實是整篇非常重要的結論。

如果你只有 Human-in-the-loop,可能遇到 automation bias。

只有 Explainability,可能仍然沒有清楚 accountability。

只有 benchmark,可能遭到 benchmark gaming。

只有 audit,deployment environment 仍可能產生 distribution shift。

只有責任制度,也無法彌補一個技術上極不可靠的模型。

所以真正需要的是:

Defense in Depth。

多層防護。

這也是航空、核能、資安與其他 safety-critical engineering 長期使用的思維。

不是尋找一個永遠不會失效的安全機制,而是假設每一層都有可能失效,再建立下一層。


這裡其實出現了一個很像資安的概念:Zero Trust,但對象是 AI

如果把論文的治理框架抽象化,它其實很接近一種 AI Zero Trust。

不是:

『這套模型已經 certified,所以相信它。』

而是:

『這套模型在特定條件下取得一定程度信任,但信任必須持續驗證。』

模型更新了?

重新評估。

Sensor 換了?

重新評估。

新的戰區?

重新評估。

敵方 tactics 改變?

重新評估。

Dataset distribution 漂移?

重新評估。

AI safety 因此不能是一張 deployment certificate。

它更像 lifecycle process。

這對所有 safety-critical AI 都成立。


最危險的情況甚至可能不是 AI 犯錯,而是 AI 太好用

這聽起來很奇怪。

但如果 AI 很爛,人類反而容易保持警覺。

真正棘手的是:

AI 99% 的時間都非常好用。

它每天幫你整理數千筆 sensor data。

辨識速度比人類快數百倍。

它持續給出正確 recommendation。

一個月。

半年。

一年。

組織流程自然會開始圍繞它建立。

人類逐漸減少 manual verification。

Operator training 開始假設 AI 會存在。

人力配置也開始依賴 AI throughput。

最後某一天系統失效。

此時問題不只是:

AI 出錯。

而是:

整個組織已經失去在沒有 AI 的情況下正常判斷的能力。

這可以理解成 cognitive deskilling,也就是技能退化。

飛行員與 automation 的歷史早就顯示,人類過度依賴自動化後,manual skill 與 situational awareness 都可能受到影響。

軍事 AI 對 judgment 也可能產生類似效果。


OODA Loop 也可能因此被 AI 重新寫過

軍事理論常談 OODA Loop:

Observe

Orient

Decide

Act

AI 最初看起來只是協助 Observe。

例如影像辨識、sensor fusion。

但當 AI 開始:

解釋 battlefield situation,

推估敵人意圖,

排序威脅,

提供 course of action,

它其實已經進入 Orient 與 Decide。

也就是說,AI 不只是幫人看得更快。

它開始影響:

人類怎麼理解自己看到的世界。

這是非常深的改變。

如果 AI 控制了 Orient,人類之後的 decision 即使表面自主,也已經是在 AI 建立的問題框架裡做決策。

這就是 epistemic dependence。


Imagine:AI 沒有說謊,但它決定了你看到什麼

這裡可以做一個思想實驗。

假設一套 AI 從來不捏造資訊。

它完全不 hallucinate。

所有顯示的資料都是真的。

但 battlefield sensor 每分鐘產生一百萬個 signal。

AI 必須決定哪些值得 Commander 看。

最後它選出 20 個。

這 20 個全部是真的。

問題是:

剩下的 999,980 個呢?

也許其中某個 signal 可以完全改變 Commander 對 situation 的理解。

因此 AI influence 不一定需要提供錯誤資訊。

Selection 本身就是一種權力。

排序也是。

摘要也是。

分類也是。

這與今天搜尋引擎、social media feed、LLM summary 面臨的哲學問題高度相似,只是在軍事環境裡後果更加不可逆。


所以真正的 Explainability 可能不是「解釋答案」,而是「暴露不確定性」

AI interface 很容易犯一個設計錯誤:

把複雜的不確定世界變成非常乾淨的數字。

94%。

High Risk。

Critical Threat。

Attack Recommended。

這會讓系統看起來比現實更確定。

真正好的 human-machine interface 可能反而應該顯示:

資料品質低。

Sensor A 與 Sensor B 衝突。

此類案例 training examples 很少。

模型在雨天 validation performance 顯著下降。

目前 scenario 超出 validated operating envelope。

其他模型 disagreement 很高。

也就是說,AI 不只應該告訴 Commander:

我認為答案是 X。

它還應該告訴他:

你為什麼現在不應該太相信我。

這種 calibrated uncertainty,可能比單純 XAI 更重要。


Kill Chain 越快,Human Judgment 的時間反而越少

AI 在軍事上的巨大吸引力之一,就是速度。

更快找到目標。

更快分類。

更快分析。

更快建立 common operating picture。

更快完成 sensor-to-shooter chain。

但速度本身也產生倫理壓力。

當一方能在 30 秒完成 kill chain,另一方就會想壓到 15 秒。

然後 8 秒。

5 秒。

最後最大的 bottleneck 可能變成人。

人類需要思考。

AI 不需要。

於是系統工程會自然產生一種誘惑:

縮短 human deliberation。

這就形成一個危險的 feedback loop。

因為 competition 越激烈,人類越沒有時間質疑 AI。

AI 越快,人類越依賴 automation。

越依賴 automation,就越需要 AI 加速下一輪決策。

最終 Human-in-the-loop 仍然存在,卻只剩幾秒鐘。

形式上的 human control 保留下來了。

實質的 deliberation 卻消失了。


最終問題:一個人按下按鈕,就足以叫作「人類決定」嗎?

這可能是整篇論文最值得留下來的一個哲學問題。

我們常常把 agency 理解成最後一個動作。

誰按下按鈕?

誰簽名?

誰發射?

但真正的 decision 並不是最後一個動作才形成。

它包含:

你看見什麼。

你相信什麼。

你認為哪些資訊重要。

你如何描述問題。

你接受哪些可能性。

以及哪些選項甚至從來沒有出現在你的介面上。

如果這些步驟幾乎全部由 AI 建構,那麼最後的人類 approval 到底代表多少 moral agency?

這也就是為什麼作者最後強調,軍事 AI 治理不能只依靠技術 guardrail。

它需要一整套 institutional infrastructure,目的不是單純限制 AI,而是:

讓 Human Judgment 繼續有意義。

這句話甚至比『保持人類控制』更精確。

控制可以只是一個 switch。

Judgment 則需要 knowledge、time、authority、training,以及真正拒絕系統建議的能力。


這個問題最後其實遠遠超過戰爭

軍事 AI 只是最極端、最容易看見問題的地方。

同樣結構已經逐漸出現在其他領域。

醫療:

AI 說惡性腫瘤風險 87%。

醫師最後簽字。

法律:

AI 判定高再犯風險。

法官最後決定。

金融:

AI Fraud Score 98%。

銀行員最後凍結帳戶。

招聘:

AI 把候選人排序在最後 10%。

HR 最後不邀請面試。

保險:

AI 判定 High Risk。

人類最後核准拒保。

軍事:

AI 判定 Hostile Target 94%。

Commander 最後批准攻擊。

每一個系統表面上都可以說:

最終決定仍然由人類做出。

但真正應該問的是:

那個人類還有多少能力去形成一個獨立於 AI 的判斷?

如果答案逐漸接近零,那麼『Human-in-the-loop』可能只剩下一個介面設計,而不是倫理保障。


人類真正需要保留的,可能不是控制權,而是拒絕權

所以 Military AI 最重要的 safety mechanism,可能不是漂亮的 Explainable AI dashboard。

也不是一顆紅色 Emergency Stop。

而是一件非常普通的事情:

人類真的可以說 No。

不是形式上可以。

而是他擁有足夠資訊。

足夠時間。

足夠訓練。

足夠制度支持。

也不會因為拒絕 AI 建議就被視為拖慢系統。

只有在這些條件存在時,human oversight 才真正具有內容。

否則未來最危險的軍事 AI 可能根本不是 Terminator。

它不需要獲得自主意志。

不需要反叛。

甚至不需要自己扣下扳機。

它只需要一次又一次給出看起來非常合理的建議。

而人類一次又一次按下:

Approve。

直到某一天,我們突然發現,按鈕旁邊雖然一直坐著一個人,但真正的 decision process 早已搬進了機器裡。


Tech English|本文關鍵技術與治理名詞

Epistemic Problem|認識論問題:關注我們如何知道某件事、相信的理由是否充分,以及判斷是否建立在可靠知識上。這篇論文認為軍事 AI 的核心倫理難題之一,就是人類可能在無法充分理解 AI 判斷依據的情況下做出高風險決策。

Accountability Gap|責任缺口:當一項 AI 決策由資料、模型、開發者、操作員、指揮官與制度共同形成時,責任可能被分散到沒有人能完整承擔的程度。

Automation Bias|自動化偏誤:人類因過度信任自動化系統,而傾向接受其建議、忽略其他資訊或未能察覺系統錯誤的現象。

Meaningful Human Control|有意義的人類控制:不只是要求人類出現在決策鏈中,而是要求人類真正理解情境、擁有介入時間與權限,並能有效拒絕或推翻自動化系統的判斷。

Adversarial Auditing|對抗式稽核:不是只確認系統在正常條件下是否工作,而是刻意設計極端、欺騙、未知或惡意情境,主動尋找模型會失敗的位置。

Operational Envelope|運作邊界:一套系統經驗證可以安全運行的條件範圍,例如天候、感測器品質、任務類型、地理環境或敵方干擾程度。超出該範圍後,原本的性能保證可能不再成立。

Core takeaway

這篇研究認為,軍事 AI 最深層的倫理問題不是機器是否直接擁有殺人的權力,而是當情報融合、目標分類、威脅排序與行動建議逐漸由不透明演算法完成後,人類是否仍具有真正理解、質疑與推翻系統判斷的能力。Human-in-the-loop 並不自動等於 Meaningful Human Control。

Why it matters

軍事 AI 是人類與 AI 決策關係最極端的實驗場。如果最後的批准仍由人類完成,但人類看到的資訊、問題框架、威脅排序與建議方案幾乎全部由 AI 建構,責任、法律與 moral agency 都可能出現根本變化。同一問題未來也會出現在醫療、司法、金融與其他高風險 AI 系統。

Data story

02

8

論文進行反事實分析的紀錄案例數

The Ethics of Artificial Intelligence in Military Operations摘要指出案例橫跨 1988 至 2025 年,但目前可取得摘要未列出完整案例清單。

1988–2025

論文反事實案例涵蓋年份

The Ethics of Artificial Intelligence in Military Operations用於檢視不同治理機制是否能對應歷史上已記錄的 failure classes。

Tech index

10
01Military AI
02AI Decision Support System
03Autonomous Weapons
04Machine Learning
05Explainable AI
06Adversarial Auditing
07Human-in-the-loop
08Sensor Fusion
09Target Recognition
10AI Governance

限制與注意

06
  1. 01本文主要論文於 2026 年 9 月 22 日提交、9 月 23 日更新,屬非常新的 arXiv 預印本,目前不應視為已完成正式同行審查的定論。
  2. 02目前取得並可靠核對的是論文完整摘要與書目資料,arXiv PDF 本次無法正常擷取,因此本文沒有自行杜撰論文中八個案例的名稱與逐案結果。
  3. 03Automation Bias、moral agency、OODA Loop、calibration、operational envelope 與其他工程延伸分析,部分來自相關軍事 AI、Human-AI Interaction 與安全工程文獻,不應全部歸因於 Drapier 等人的原論文。
  4. 04論文主張建立 NATO evaluation standard 屬作者提出的治理方向,不代表 NATO 已正式採用或建立該項標準。
  5. 05本文討論 Human-in-the-loop 的限制,不代表所有 AI 輔助軍事系統都會削弱人類判斷;實際效果高度取決於介面、訓練、組織文化、任務設計與操作程序。
  6. 06AI 可以在部分任務提高資訊處理速度與決策品質,因此問題並非簡單的『使用 AI 或禁止 AI』,而是如何讓使用方式仍保留可追責且有意義的人類判斷。

資料來源

04
01

Drapier et al. - The Ethics of Artificial Intelligence in Military Operations

paper

02

International Affairs - Can AI behave ethically during military crises? Preserving human moral agency

academic

03

Frontiers in Big Data - Ethical challenges in AI-enhanced military operations

academic

04

DILEMA Project - Legal, Ethical, and Technical Dilemmas in Military Artificial Intelligence

academic

延伸主題

相關文章

探索更多 →