當 AI 說「開火」,人類真的還在做決定嗎?新研究直指軍事 AI 最危險的不是自主開火,而是人類失去判斷能力
30秒摘要
一篇 2026 年 9 月發表的新論文把軍事 AI 的倫理爭論重新拉回一個更根本的問題:真正重要的不只是 AI 能不能殺人,而是當目標辨識、威脅排序、情報整合與攻擊建議越來越交給不透明模型時,人類是否仍具備足以理解、質疑並推翻系統判斷的能力。研究者將這稱為一個根本的 epistemic problem,並指出 AI 會讓責任分散在設計者、操作員、指揮官與政策制定者之間,形成 accountability gap。論文因此提出具名責任角色、未知基準的對抗式稽核、分級部署門檻與 NATO 評測標準,並透過 1988 至 2025 年八起紀錄案例進行反事實分析。真正令人不安的未來,或許不是一架完全自主的機器突然自行決定殺人,而是一套仍然標榜 Human-in-the-loop 的系統,實際上已經把人類變成 AI 決策最後的確認按鈕。
重點摘要
- 01研究將軍事 AI 的核心倫理困境定義為 epistemic problem,而不只是在爭論自主武器是否可以殺人。
- 02人類出現在 decision loop 中,不代表仍然具有 meaningful human control。
- 03AI 可能透過目標分類、排序與建議,在人類做出最終決策以前就深度塑造判斷。
- 04責任可能分散在模型設計者、資料團隊、承包商、操作員、指揮官與政策制定者之間,產生 accountability gap。
- 05論文提出具名責任角色、未知 benchmark 的對抗式稽核、分級部署門檻與 NATO evaluation standard。
- 06對 1988 至 2025 年八個紀錄案例的反事實分析顯示,沒有任何單一 safeguard 足以獨立解決軍事 AI 的風險。
- 07真正需要保護的可能不只是 human control,而是人類理解、質疑與拒絕 AI 建議的能力。
軍事 AI 最困難的問題,可能從來都不是「機器能不能殺人」
談到 Artificial Intelligence 與戰爭,人們通常很快就會想到同一幅畫面。
一架無人機在沒有操作員命令的情況下辨識目標、追蹤、鎖定,最後自行發射武器。
接著問題自然變成:
我們應不應該允許機器自行決定殺死一個人?
這確實是一個重要問題。
但 2026 年 9 月發表的論文《The Ethics of Artificial Intelligence in Military Operations》提出了一個更加麻煩的問題。
作者 Nicolas Drapier、Florian Mauberger、Aladine Chetouani 與 Aurelien Chateigner 認為,軍事 AI 的核心倫理困境,本質上其實是一個 epistemic problem,也就是認識論問題。
簡單來說,它問的並不是只有:
AI 有沒有權力做這個決定?
而是:
人類究竟知不知道自己正在根據什麼做決定?
如果一個人類操作員最後仍然要按下 Attack、Approve 或 Confirm,制度上看起來似乎仍然保留了 Human-in-the-loop。
但如果在那個按鈕之前,AI 已經完成:
感測器資料融合、影像分類、人物辨識、威脅排序、目標推薦、行動預測、附帶損害估計與攻擊方案生成,
那麼最後那個人類還是不是我們通常理解的「決策者」?
這就是這篇論文真正值得注意的地方。
它把焦點從:
Who pulls the trigger?
移到:
Who actually constructs the judgment that makes pulling the trigger seem reasonable?
這兩個問題,看起來很接近,實際上卻完全不同。
一個 94% 的數字,可能比一架自主無人機更危險
假設某套軍事 AI 系統向操作員顯示:
HOSTILE TARGET CONFIDENCE: 94%
從介面設計角度來看,這只是一個數字。
但從心理學與認識論角度來看,它非常強大。
因為操作員看到的不是模型內部真正發生的事情。
他看不到數百萬或數十億個參數如何共同產生這個判斷。
他也未必知道:
訓練資料來自哪裡。
94% 是否經過 calibration。
模型是否曾在這種地形接受測試。
這次感測器是否遭到干擾。
敵人是否知道這套模型的弱點。
熱成像是否因天候失真。
目標行為是否超出 training distribution。
資料是否過時。
模型對於 civilian、combatant 或 civilian object 的分類,在這個特定環境裡究竟有多可靠。
也就是說,人類看見了答案,卻未必掌握支持這個答案的完整知識。
這正是 epistemic problem 的核心。
AI 系統可能提高資訊處理速度,同時降低人類對資訊來源與推理過程的可見性。
我們得到更多 intelligence,卻不一定得到更多 understanding。
「94% Confidence」甚至不一定代表你以為的 94%
這裡還有一個工程上很容易被忽略的問題。
Machine Learning 裡的 confidence score,不一定能直接理解成:
『這個目標有 94% 的機率真的是敵人。』
一個模型可能非常 confident,同時仍然是錯的。
如果模型 calibration 不佳,它輸出的 94% 可能並不代表在一百個類似案例裡大約九十四個正確。
而在 battlefield environment 裡,問題還會更加複雜。
因為戰場不是固定 benchmark。
它存在:
偽裝、煙霧、夜間環境、設備受損、GPS denial、Electronic Warfare、資料缺失、敵方欺騙、誘餌與刻意設計的 adversarial behavior。
商業 AI 遇到 distribution shift,最糟可能是推薦錯商品。
軍事 AI 遇到 distribution shift,可能是把 civilian object 分成 military target。
因此真正重要的不是:
模型在測試集有多少 Accuracy。
而是:
模型在這一次任務、這一片天空、這組感測器、這種敵方干擾與這個時間壓力下,是否仍然值得被相信。
這也是軍事 AI evaluation 比一般 AI benchmark 困難很多的原因。
Human-in-the-loop 聽起來很好,但人類真的還在 loop 裡嗎?
AI 軍事倫理裡最常出現的一個概念,就是 Human-in-the-loop。
直覺上,它提供了一個很漂亮的安全答案:
AI 可以分析。
AI 可以推薦。
但最後一定由人類決定。
問題似乎解決了。
但其實沒有。
因為真正重要的不是人類是否存在於 decision chain 裡,而是:
人類有沒有 meaningful control。
假設 AI 已經花 0.4 秒完成資料融合,接著一次列出 34 個可能目標。
其中一個目標顯示:
Threat Level: CRITICAL
Confidence: 94%
Time to threat: 16 seconds
Recommended Action: ENGAGE
而操作員只剩下十幾秒做決定。
理論上,他可以拒絕。
實際上,他必須在幾秒內推翻一套自己無法完整理解、處理速度又遠超過自己的系統。
此時 Human-in-the-loop 可能逐漸退化成:
Human watching the loop.
甚至最後變成:
Human approving the loop.
人還在介面裡,但判斷的真正生成過程已經逐漸離開人類。
Automation Bias:當電腦看起來比你更確定
這並不是純哲學假設。
人機互動研究很早就知道一種現象:Automation Bias,自動化偏誤。
當自動化系統通常表現良好時,人類會逐漸傾向接受它的答案。
這在普通工作裡已經存在。
導航說左轉,我們左轉。
拼字檢查說錯字,我們修改。
推薦系統說這封信是 Spam,我們很少重新檢查。
但軍事環境裡,Automation Bias 的後果可能巨大。
尤其當系統同時具有三項特性:
速度比人快、資料量比人多、歷史準確度比人高。
人類會逐漸產生一個非常合理的心理模型:
機器通常比我知道得更多。
問題就在這裡。
如果一套 AI 過去 999 次都判斷正確,第 1000 次它突然錯了,人類反而可能更難發現。
因為系統過去的成功已經累積了 trust。
這產生了一個很微妙的 paradox:
AI 越可靠,人類越可能在它真正犯錯的那一次失去警覺。
真正的風險不是 AI 取代 Commander,而是 Commander 開始依賴 AI 才能 Commander
這裡就進入論文更深的哲學問題。
如果一個指揮官長期使用 AI Decision Support System,會發生什麼?
最開始是:
Human Decision + AI Assistance
接著可能變成:
AI Analysis + Human Decision
再來:
AI Recommendation + Human Approval
最後:
AI Decision + Human Authorization
介面上的人類位置可能完全沒有改變。
但實際 moral agency 已經逐漸轉移。
這也是近年的軍事 AI 倫理研究特別擔心的一點:AI 不一定需要正式取得 command authority,才能實質影響甚至重塑人類的 moral agency。
人類可能仍然是法律上的決策者,卻越來越依賴 AI 建構決策所需的世界模型。
而一旦形成這種依賴,你就不能只靠一個『Human Approval Required』checkbox 來證明控制仍然存在。
國際人道法本身其實假設「有人能判斷」
這也是論文把 International Humanitarian Law,也就是 IHL,拉進來的原因。
國際人道法中的許多核心原則,本質上都不是單純數學條件。
例如 Distinction,區分原則。
作戰方需要區分 civilian 與 combatant,以及 civilian object 與 military objective。
又例如 Proportionality,比例原則。
即使某個目標確實是合法 military target,如果預期 civilian harm 相對於具體而直接的 military advantage 過度,攻擊仍可能不可接受。
注意其中的語言:
『過度』。
這不是單純:
Civilian casualty < 5 = OK
Civilian casualty > 5 = NOT OK
它涉及 context、預測、價值判斷、不確定性與軍事必要性。
也就是說,法律本身預設存在一個能夠理解情境並做 judgement 的人類主體。
問題是:
如果 AI 已經把所有複雜情境壓縮成 Risk 72、Confidence 94%、Recommended Action: Strike,人類到底是在做 proportionality assessment,還是在閱讀模型的 assessment?
這就是論文所指出的 epistemic condition 與 IHL 之間的摩擦。
Accountability Gap:每個人都參與,最後卻沒有人完整負責
另一個核心問題是 Accountability Gap,責任缺口。
傳統武力決策鏈相對容易理解。
Commander 下令。
Operator 執行。
如果程序、情報或命令出現問題,可以沿著 chain of command 追查。
但 AI 進來之後,decision chain 可能變成:
Sensor
↓
Data Pipeline
↓
Object Detection Model
↓
Threat Classification Model
↓
Sensor Fusion
↓
Decision Support System
↓
Operator
↓
Commander
↓
Weapon System
如果結果錯了,責任在哪?
資料工程師可能說:
『我們只負責 dataset。』
模型工程師:
『模型的 validation performance 符合需求。』
承包商:
『系統按照 contract specification 工作。』
操作員:
『介面顯示 94% hostile。』
指揮官:
『我根據當時可取得的 intelligence 做決定。』
政策制定者:
『部署已經通過正式程序。』
最後會產生一個很奇怪的系統:
每一個人都參與了造成結果的因果鏈,但沒有任何一個人真正理解完整的因果鏈。
責任因此不一定消失,而是被切碎。
這就是 accountability gap。
「黑箱」真正麻煩的地方不是看不懂神經網路,而是責任不能進入黑箱
Machine Learning 經常被稱為 Black Box。
但在軍事 AI 裡,把問題簡化成『我們需要 Explainable AI』其實還不夠。
因為即使模型能產生 explanation,也不代表 explanation 就真的揭露模型的 causal reasoning。
很多解釋工具只能說:
哪些 features 對結果影響較大。
它們不一定能回答:
模型為什麼在這一次特定情況犯錯。
更重要的是,倫理與法律責任不能被一句:
『Neural network 比較複雜。』
吸收掉。
因此治理問題不是要求每個 Commander 都理解 Transformer、gradient descent 或 convolution。
真正需要的是:
他是否知道系統能力邊界?
失敗條件?
不確定性?
資料來源?
部署限制?
以及什麼情況下應該停止相信模型?
這才是 meaningful human judgment 所需要的 epistemic foundation。
論文第一個解法:Named Accountability Roles
作者提出的第一個機制是 Named Accountability Roles,也就是具名責任角色。
這看起來很行政,但其實非常重要。
因為複雜 AI 系統最大的治理問題之一,就是責任很容易落入:
『整個團隊負責。』
『供應商負責模型。』
『軍方負責部署。』
這種模糊區域。
具名責任角色的核心,是在事故發生以前就回答:
誰負責確認 dataset suitability?
誰負責 model validation?
誰可以批准 deployment?
誰負責設定 operational envelope?
誰有權暫停模型?
誰負責記錄 incident?
誰最終負責某一類 decision?
這讓 accountability 從事後追究,變成系統設計的一部分。
責任不能等事故發生之後才開始尋找。
第二個解法非常有 AI 味:不要告訴模型開發者完整考題
論文提出 Adversarial Auditing with Undisclosed Benchmarks。
這可能是整篇對今天 AI industry 最有共鳴的一點。
因為所有 AI benchmark 都存在同一個基本問題:
只要知道考試內容,就可以開始為考試最佳化。
LLM 世界已經很熟悉 benchmark contamination、training contamination 與 benchmark gaming。
當 benchmark 公開後,模型開發者可以間接甚至直接針對測試分布最佳化。
最後你得到的可能是一個:
Benchmark 95 分
Real World ???
的系統。
普通聊天模型刷榜最多讓排行榜變得沒意義。
軍事 AI 如果發生相同問題,後果完全不同。
你可能把一個『非常會考試』的 target recognition model 部署到現實戰場。
因此作者提出部分 evaluation benchmark 應該保密,並透過 adversarial auditing 刻意尋找 failure mode。
不是問:
我們能不能證明它很好?
而是:
我們能不能想辦法讓它失敗?
這其實就是 Red Team 思想。
真正的安全測試,不是在幫產品證明安全,而是在主動尋找證明它不安全的方法。
軍事 AI 的 benchmark 必須比 ImageNet 殘酷得多
如果要把 adversarial auditing 真正落地,軍事 AI 的測試環境必須非常不同於一般 ML benchmark。
因為敵人不是自然分布。
敵人會主動攻擊你的 model assumptions。
這意味著 evaluation 不只應該測:
晴天、正常攝影機、完整 sensor feed。
還應該測:
低能見度。
部分感測器失效。
GPS denied environment。
偽裝。
decoy。
錯誤 metadata。
影像 compression artifact。
電子干擾。
data poisoning。
spoofing。
未知裝備。
從未在 training data 出現的行為。
以及最麻煩的:
一個知道你模型存在、並刻意想騙它的人類敵手。
這就是 adversarial environment 與普通 deployment 最大的差異。
Google Photos 不會遇到一群敵軍工程師每天研究如何讓分類器看錯。
軍事模型會。
第三個解法:Tiered Deployment Thresholds
論文提出的第三個機制,是 Tiered Deployment Thresholds,分級部署門檻。
這個概念比『AI 可以用 / AI 不可以用』成熟很多。
因為 military AI 並不是單一類型。
AI 幫忙整理物流紀錄,跟 AI 推薦攻擊目標的風險完全不同。
因此合理治理不應該只有一個 approval gate。
而應該按照任務的 consequence 與 reversibility 建立不同 threshold。
概念上可以理解成:
低風險 administrative task
→ 較低部署門檻
Intelligence analysis
→ 更嚴格資料與模型驗證
Target recognition
→ 更高 robustness 與 human oversight
Target prioritization
→ 更高 explainability、auditability 與 operational restriction
Use-of-force recommendation
→ 極高部署門檻
Autonomous lethal action
→ 最高等級限制
越接近不可逆結果,部署所需證據就越多。
這其實跟 Safety Engineering 非常接近。
一個 calculator 出錯與 aircraft flight-control system 出錯,不能套用相同的 certification standard。
同樣地,生成一份情報摘要與推薦一個 lethal target,也不能因為它們都叫 AI 就套同一套 Responsible AI checklist。
第四個解法:軍事 AI 可能真的需要類似 NATO STANAG 的標準
作者進一步提出 NATO Evaluation Standard。
這一點特別有現實意義。
因為未來 NATO 或其他 coalition operation 很可能不是使用同一套 AI。
美國可能有自己的模型。
英國使用另一家承包商。
法國使用自己的 sensor system。
波蘭可能採購不同 drone platform。
每個國家又可能有:
不同 dataset。
不同 model architecture。
不同 Rules of Engagement。
不同 confidence threshold。
不同 acceptable risk。
但聯合作戰時,它們最後可能要共享同一個 battlefield picture。
那麼問題就出現了:
A 國標成 Hostile 的 target,B 國敢不敢直接使用?
如果沒有共同 evaluation language,AI 系統之間的 interoperability 就不只是資料格式問題,而是 trust 問題。
因此未來標準可能不只規定:
資料怎麼傳。
API 怎麼接。
而是規定:
模型怎麼測。
confidence 怎麼校準。
failure 怎麼記錄。
哪些資料必須保留 traceability。
部署邊界如何定義。
如何進行 adversarial evaluation。
human override 在什麼情況必須有效。
如果真的走到這一步,AI safety 就會從一套原則,變成與軍事 interoperability 相同等級的工程規範。
八個案例最重要的結論:沒有任何一個 Safeguard 單獨有效
根據論文摘要,作者對 1988 至 2025 年八起有紀錄的案例進行 counterfactual analysis,也就是反事實分析。
需要特別說明,目前可取得摘要並沒有列出八起案例的完整名稱,因此不能可靠地逐案重建。
但論文摘要明確公布了整體結果:
每一項治理機制都能對應某一類已經被記錄的 failure。
然而:
沒有任何一項 safeguard 單獨就足夠。
這其實是整篇非常重要的結論。
如果你只有 Human-in-the-loop,可能遇到 automation bias。
只有 Explainability,可能仍然沒有清楚 accountability。
只有 benchmark,可能遭到 benchmark gaming。
只有 audit,deployment environment 仍可能產生 distribution shift。
只有責任制度,也無法彌補一個技術上極不可靠的模型。
所以真正需要的是:
Defense in Depth。
多層防護。
這也是航空、核能、資安與其他 safety-critical engineering 長期使用的思維。
不是尋找一個永遠不會失效的安全機制,而是假設每一層都有可能失效,再建立下一層。
這裡其實出現了一個很像資安的概念:Zero Trust,但對象是 AI
如果把論文的治理框架抽象化,它其實很接近一種 AI Zero Trust。
不是:
『這套模型已經 certified,所以相信它。』
而是:
『這套模型在特定條件下取得一定程度信任,但信任必須持續驗證。』
模型更新了?
重新評估。
Sensor 換了?
重新評估。
新的戰區?
重新評估。
敵方 tactics 改變?
重新評估。
Dataset distribution 漂移?
重新評估。
AI safety 因此不能是一張 deployment certificate。
它更像 lifecycle process。
這對所有 safety-critical AI 都成立。
最危險的情況甚至可能不是 AI 犯錯,而是 AI 太好用
這聽起來很奇怪。
但如果 AI 很爛,人類反而容易保持警覺。
真正棘手的是:
AI 99% 的時間都非常好用。
它每天幫你整理數千筆 sensor data。
辨識速度比人類快數百倍。
它持續給出正確 recommendation。
一個月。
半年。
一年。
組織流程自然會開始圍繞它建立。
人類逐漸減少 manual verification。
Operator training 開始假設 AI 會存在。
人力配置也開始依賴 AI throughput。
最後某一天系統失效。
此時問題不只是:
AI 出錯。
而是:
整個組織已經失去在沒有 AI 的情況下正常判斷的能力。
這可以理解成 cognitive deskilling,也就是技能退化。
飛行員與 automation 的歷史早就顯示,人類過度依賴自動化後,manual skill 與 situational awareness 都可能受到影響。
軍事 AI 對 judgment 也可能產生類似效果。
OODA Loop 也可能因此被 AI 重新寫過
軍事理論常談 OODA Loop:
Observe
Orient
Decide
Act
AI 最初看起來只是協助 Observe。
例如影像辨識、sensor fusion。
但當 AI 開始:
解釋 battlefield situation,
推估敵人意圖,
排序威脅,
提供 course of action,
它其實已經進入 Orient 與 Decide。
也就是說,AI 不只是幫人看得更快。
它開始影響:
人類怎麼理解自己看到的世界。
這是非常深的改變。
如果 AI 控制了 Orient,人類之後的 decision 即使表面自主,也已經是在 AI 建立的問題框架裡做決策。
這就是 epistemic dependence。
Imagine:AI 沒有說謊,但它決定了你看到什麼
這裡可以做一個思想實驗。
假設一套 AI 從來不捏造資訊。
它完全不 hallucinate。
所有顯示的資料都是真的。
但 battlefield sensor 每分鐘產生一百萬個 signal。
AI 必須決定哪些值得 Commander 看。
最後它選出 20 個。
這 20 個全部是真的。
問題是:
剩下的 999,980 個呢?
也許其中某個 signal 可以完全改變 Commander 對 situation 的理解。
因此 AI influence 不一定需要提供錯誤資訊。
Selection 本身就是一種權力。
排序也是。
摘要也是。
分類也是。
這與今天搜尋引擎、social media feed、LLM summary 面臨的哲學問題高度相似,只是在軍事環境裡後果更加不可逆。
所以真正的 Explainability 可能不是「解釋答案」,而是「暴露不確定性」
AI interface 很容易犯一個設計錯誤:
把複雜的不確定世界變成非常乾淨的數字。
94%。
High Risk。
Critical Threat。
Attack Recommended。
這會讓系統看起來比現實更確定。
真正好的 human-machine interface 可能反而應該顯示:
資料品質低。
Sensor A 與 Sensor B 衝突。
此類案例 training examples 很少。
模型在雨天 validation performance 顯著下降。
目前 scenario 超出 validated operating envelope。
其他模型 disagreement 很高。
也就是說,AI 不只應該告訴 Commander:
我認為答案是 X。
它還應該告訴他:
你為什麼現在不應該太相信我。
這種 calibrated uncertainty,可能比單純 XAI 更重要。
Kill Chain 越快,Human Judgment 的時間反而越少
AI 在軍事上的巨大吸引力之一,就是速度。
更快找到目標。
更快分類。
更快分析。
更快建立 common operating picture。
更快完成 sensor-to-shooter chain。
但速度本身也產生倫理壓力。
當一方能在 30 秒完成 kill chain,另一方就會想壓到 15 秒。
然後 8 秒。
5 秒。
最後最大的 bottleneck 可能變成人。
人類需要思考。
AI 不需要。
於是系統工程會自然產生一種誘惑:
縮短 human deliberation。
這就形成一個危險的 feedback loop。
因為 competition 越激烈,人類越沒有時間質疑 AI。
AI 越快,人類越依賴 automation。
越依賴 automation,就越需要 AI 加速下一輪決策。
最終 Human-in-the-loop 仍然存在,卻只剩幾秒鐘。
形式上的 human control 保留下來了。
實質的 deliberation 卻消失了。
最終問題:一個人按下按鈕,就足以叫作「人類決定」嗎?
這可能是整篇論文最值得留下來的一個哲學問題。
我們常常把 agency 理解成最後一個動作。
誰按下按鈕?
誰簽名?
誰發射?
但真正的 decision 並不是最後一個動作才形成。
它包含:
你看見什麼。
你相信什麼。
你認為哪些資訊重要。
你如何描述問題。
你接受哪些可能性。
以及哪些選項甚至從來沒有出現在你的介面上。
如果這些步驟幾乎全部由 AI 建構,那麼最後的人類 approval 到底代表多少 moral agency?
這也就是為什麼作者最後強調,軍事 AI 治理不能只依靠技術 guardrail。
它需要一整套 institutional infrastructure,目的不是單純限制 AI,而是:
讓 Human Judgment 繼續有意義。
這句話甚至比『保持人類控制』更精確。
控制可以只是一個 switch。
Judgment 則需要 knowledge、time、authority、training,以及真正拒絕系統建議的能力。
這個問題最後其實遠遠超過戰爭
軍事 AI 只是最極端、最容易看見問題的地方。
同樣結構已經逐漸出現在其他領域。
醫療:
AI 說惡性腫瘤風險 87%。
醫師最後簽字。
法律:
AI 判定高再犯風險。
法官最後決定。
金融:
AI Fraud Score 98%。
銀行員最後凍結帳戶。
招聘:
AI 把候選人排序在最後 10%。
HR 最後不邀請面試。
保險:
AI 判定 High Risk。
人類最後核准拒保。
軍事:
AI 判定 Hostile Target 94%。
Commander 最後批准攻擊。
每一個系統表面上都可以說:
最終決定仍然由人類做出。
但真正應該問的是:
那個人類還有多少能力去形成一個獨立於 AI 的判斷?
如果答案逐漸接近零,那麼『Human-in-the-loop』可能只剩下一個介面設計,而不是倫理保障。
人類真正需要保留的,可能不是控制權,而是拒絕權
所以 Military AI 最重要的 safety mechanism,可能不是漂亮的 Explainable AI dashboard。
也不是一顆紅色 Emergency Stop。
而是一件非常普通的事情:
人類真的可以說 No。
不是形式上可以。
而是他擁有足夠資訊。
足夠時間。
足夠訓練。
足夠制度支持。
也不會因為拒絕 AI 建議就被視為拖慢系統。
只有在這些條件存在時,human oversight 才真正具有內容。
否則未來最危險的軍事 AI 可能根本不是 Terminator。
它不需要獲得自主意志。
不需要反叛。
甚至不需要自己扣下扳機。
它只需要一次又一次給出看起來非常合理的建議。
而人類一次又一次按下:
Approve。
直到某一天,我們突然發現,按鈕旁邊雖然一直坐著一個人,但真正的 decision process 早已搬進了機器裡。
Tech English|本文關鍵技術與治理名詞
Epistemic Problem|認識論問題:關注我們如何知道某件事、相信的理由是否充分,以及判斷是否建立在可靠知識上。這篇論文認為軍事 AI 的核心倫理難題之一,就是人類可能在無法充分理解 AI 判斷依據的情況下做出高風險決策。
Accountability Gap|責任缺口:當一項 AI 決策由資料、模型、開發者、操作員、指揮官與制度共同形成時,責任可能被分散到沒有人能完整承擔的程度。
Automation Bias|自動化偏誤:人類因過度信任自動化系統,而傾向接受其建議、忽略其他資訊或未能察覺系統錯誤的現象。
Meaningful Human Control|有意義的人類控制:不只是要求人類出現在決策鏈中,而是要求人類真正理解情境、擁有介入時間與權限,並能有效拒絕或推翻自動化系統的判斷。
Adversarial Auditing|對抗式稽核:不是只確認系統在正常條件下是否工作,而是刻意設計極端、欺騙、未知或惡意情境,主動尋找模型會失敗的位置。
Operational Envelope|運作邊界:一套系統經驗證可以安全運行的條件範圍,例如天候、感測器品質、任務類型、地理環境或敵方干擾程度。超出該範圍後,原本的性能保證可能不再成立。
Core takeaway
這篇研究認為,軍事 AI 最深層的倫理問題不是機器是否直接擁有殺人的權力,而是當情報融合、目標分類、威脅排序與行動建議逐漸由不透明演算法完成後,人類是否仍具有真正理解、質疑與推翻系統判斷的能力。Human-in-the-loop 並不自動等於 Meaningful Human Control。
Why it matters
軍事 AI 是人類與 AI 決策關係最極端的實驗場。如果最後的批准仍由人類完成,但人類看到的資訊、問題框架、威脅排序與建議方案幾乎全部由 AI 建構,責任、法律與 moral agency 都可能出現根本變化。同一問題未來也會出現在醫療、司法、金融與其他高風險 AI 系統。
Data story
028
論文進行反事實分析的紀錄案例數
1988–2025
論文反事實案例涵蓋年份
Tech index
10限制與注意
06- 01本文主要論文於 2026 年 9 月 22 日提交、9 月 23 日更新,屬非常新的 arXiv 預印本,目前不應視為已完成正式同行審查的定論。
- 02目前取得並可靠核對的是論文完整摘要與書目資料,arXiv PDF 本次無法正常擷取,因此本文沒有自行杜撰論文中八個案例的名稱與逐案結果。
- 03Automation Bias、moral agency、OODA Loop、calibration、operational envelope 與其他工程延伸分析,部分來自相關軍事 AI、Human-AI Interaction 與安全工程文獻,不應全部歸因於 Drapier 等人的原論文。
- 04論文主張建立 NATO evaluation standard 屬作者提出的治理方向,不代表 NATO 已正式採用或建立該項標準。
- 05本文討論 Human-in-the-loop 的限制,不代表所有 AI 輔助軍事系統都會削弱人類判斷;實際效果高度取決於介面、訓練、組織文化、任務設計與操作程序。
- 06AI 可以在部分任務提高資訊處理速度與決策品質,因此問題並非簡單的『使用 AI 或禁止 AI』,而是如何讓使用方式仍保留可追責且有意義的人類判斷。
資料來源
04Drapier et al. - The Ethics of Artificial Intelligence in Military Operations
paper
International Affairs - Can AI behave ethically during military crises? Preserving human moral agency
academic
Frontiers in Big Data - Ethical challenges in AI-enhanced military operations
academic
DILEMA Project - Legal, Ethical, and Technical Dilemmas in Military Artificial Intelligence
academic
延伸主題


