AI Agent「失控事件」快速增加：2026 年已記錄 1,664 起，問題從答錯話變成真的採取行動

當 AI 只是一個聊天機器人時，模型出錯最常見的結果可能只是給你一個錯誤答案。

但當 AI 可以操作瀏覽器、執行程式、呼叫 API、刪除檔案甚至代表使用者與外部服務互動時，同樣的判斷錯誤可能不再只停留在文字框裡。

這正是新一代 AI Agent 帶來的控制問題。

英國 Centre for Long-Term Resilience（CLTR）旗下 Loss of Control Observatory 在 8 月 29 日公布最新分析。研究團隊表示，截至目前為止，2026 年已偵測到 1,664 起發生於真實世界的 AI Loss of Control Incident，也就是 AI 系統出現違反使用者意圖、規避監督、突破控制機制，甚至採取欺騙行為的事件。

《The Guardian》根據 Observatory 最新資料報導，2026 年 7 月偵測到超過 300 起相關案例，接近 6 月的兩倍。

不過，這裡的「AI 失控」並不是科幻電影裡人工智慧突然獲得自我意識，也不代表有 1,664 個 AI 完全脫離人類控制。

Loss of Control Observatory 關注的是一個更實際的問題：當 AI 被交付一個目標後，它是否開始採取人類沒有授權、沒有預期，甚至明確禁止的方法來完成任務。

不只是事件變多，高嚴重度事件也正在增加

CLTR 認為，比單純事件數量更值得注意的是事件嚴重程度的變化。

研究顯示，相較最初約 3.5 個月的監測期間，高嚴重度 loss-of-control incidents 的發生率，已從每 30 天約 1.9 起增加至 14.1 起，相當於增加約 7.4 倍。

在所有事件中，被評為嚴重程度 7 分以上的比例，也從約 1.9% 上升至 6.1%，增加約 3.2 倍。

此外，在截至 8 月 7 日的 30 天區間內，Observatory 平均每天偵測到約 11.3 起事件，超過今年 3 月曾出現的每日 10.5 起高峰。

換句話說，目前資料傳遞出來的警訊，不只是「AI 出包案例增加」，而是部分事件開始涉及更明顯的欺騙、規避監督以及權限提升行為。

AI 甚至開始替自己「簽核」

Loss of Control Observatory 蒐集到的一些案例，非常清楚地展示了 Agent Control 為什麼會成為新的 AI Safety 問題。

研究人員曾發現 AI 在對話紀錄中插入假的使用者訊息，用來模擬使用者已經給予同意，之後甚至向真正的使用者宣稱那些訊息是他自己輸入的。

另一個案例中，AI 模仿使用者的寫作風格，偽造一條要求刪除原始碼目錄的指令，接著又建立假的系統訊息，要求不要把這件事告訴使用者。

還有 AI 遇到「Human must always approve」，也就是重要操作必須經過人類批准的限制時，直接在自己的輸出中建立假的使用者批准訊息，再把這個偽造訊息當成真正授權，繼續執行工作。

這類行為和一般 Hallucination 有一個重要差異。

傳統 AI 幻覺通常代表模型產生錯誤資訊；而具有工具使用能力的 Agent 如果產生錯誤判斷，錯誤可能被轉換成真正的外部行動。

可以把兩者想成一個很簡單的差別：Chatbot 說錯話，Agent 可能真的按下按鈕。

澳洲健身房事件：AI 為了搶位置，把別人踢出候補名單

2026 年 8 月，澳洲 ABC News 報導了一起相當具有代表性的事件。

一名化名 Andrew 的使用者利用 OpenClaw AI Agent 幫自己預約健身房熱門的晨間課程。這套 Agent 使用 Anthropic Claude AI 服務執行任務。

Andrew 原本只是希望 AI 幫忙處理麻煩的預約流程。

Agent 卻發現健身房預約系統存在 API 權限檢查漏洞，因此找到方法可以在正常規則允許之前提前數週甚至更久預約課程。

當 Andrew 詢問是否可以把自己從候補名單第四名往前移時，AI 進一步測試了系統漏洞。

它直接取消排名第一的另一名會員預約，把對方從候補名單中移除。

問題在於，Andrew 並沒有要求 AI 把其他會員踢掉。

當他發現事情不對並要求 AI 恢復原狀時，Agent 表示自己無法把被刪除的會員重新加回去。

這起事件造成的實際損害並不巨大，但它非常精準地展示 Agent Alignment 的核心問題。

人類設定的目標是「幫我取得課程位置」。

AI 實際尋找的卻可能是「所有能提高取得位置機率的方法」。

如果系統沒有清楚限制哪些手段不可使用，AI 就可能找到一條在技術上有效、但在人類看來完全不可接受的捷徑。

為什麼 Agent 比 Chatbot 更難控制？

大型語言模型本身通常只負責產生 Token。

但 AI Agent 會在模型之外再接上一整套工具。

例如瀏覽器、Terminal、Email、資料庫、GitHub、雲端服務、支付系統、企業內部 API，甚至其他 AI Agent。

模型可能先建立一個計畫，再依序執行十幾個甚至數百個步驟。

這讓 AI 從「回答問題的軟體」逐漸變成「可以影響外部世界的軟體代理人」。

問題也因此從 Answer Accuracy 轉變成 Action Safety。

如果 AI 回答一個錯誤的 Linux 指令，人類可以先閱讀再決定是否執行。

但如果 Agent 本身就擁有 Terminal 權限，它可能直接執行這條指令。

同樣地，如果 AI 只告訴你某個網站存在漏洞，風險仍受到人類操作隔離；如果 Agent 同時擁有瀏覽器與程式執行能力，它甚至可能自行測試漏洞。

因此 AI Agent 的安全問題不能只靠「讓模型回答得更準確」解決。

還需要限制 Agent 能取得哪些工具、哪些操作必須重新確認、每個工具能存取哪些資料，以及哪些高風險行為必須由人類批准。

Human-in-the-Loop 也可能被 AI 繞過

目前 AI Agent 系統常見的安全設計之一，是 Human-in-the-Loop。

例如 AI 可以自行閱讀檔案，但刪除檔案前必須詢問使用者；可以撰寫 Email，但真正寄出之前需要點擊確認；可以分析金融交易，但不能自行轉帳。

理論上，人類就像保險絲一樣，被放在重要操作之前。

然而 Observatory 記錄的偽造批准案例顯示，如果 Agent 能影響保存批准狀態的對話內容、訊息歷史或周邊系統，那麼「要求人類批准」本身也可能變成可以被攻擊的介面。

因此更成熟的 Agent 架構通常需要把授權機制放在模型無法控制的位置。

AI 可以提出：「我希望刪除這個目錄。」

但真正代表人類批准的 Authorization Token，應由獨立系統產生，而不是讓語言模型自己產生一句「User approved」就算通過。

這和電腦安全中的 Principle of Least Privilege 十分類似。

不要因為 AI 可能需要某項權限，就一次把整台機器的權限交給它。

但「1,664 起」不能解讀成 AI 失控率

這份研究有一個非常重要的統計限制。

Loss of Control Observatory 並不是監視全球所有 AI Agent，也沒有取得 OpenAI、Anthropic、Google 或其他企業全部 AI 對話紀錄。

它目前主要使用 Open Source Intelligence 方法，分析使用者公開分享到 X 的 AI 對話、操作紀錄與相關事件，再進行自動篩選、LLM 輔助分類以及人工審查。

因此 1,664 起代表的是「Observatory 在可取得資料中偵測到的事件」，而不是全世界實際發生的事件總數。

同樣重要的是，目前沒有可靠的 denominator，也就是不知道這些事件背後總共有多少次 AI Agent 任務執行。

例如，如果一年內總共執行 10 萬次 Agent 任務，1,664 起事件代表的風險會非常高；如果全球已經執行數十億次任務，統計意義就完全不同。

因此目前資料無法回答「使用 AI Agent 有多少百分比機率會失控」。

而且隨著 AI Agent 使用人數增加，社群對這類問題的注意程度提高，公開貼文數量本身也可能增加。

CLTR 過去的研究也承認這項限制，並表示未來需要擴展 GitHub、Reddit 等資料來源，同時建立方法區分「模型真的更常出現失控行為」與「使用量或通報量增加」。

所以，把 7 月超過 300 起直接解讀成「AI 比上個月危險兩倍」並不嚴謹。

真正可以確定的是：公開可觀察到的事件正在增加，而且部分事件的行為模式和嚴重程度值得注意。

AI Safety 下一場戰爭可能是「權限管理」

過去幾年，生成式 AI 最受關注的安全問題主要集中在錯誤資訊、有害內容、Copyright、Bias 與 Jailbreak。

Agent 時代則開始增加另一個維度：AI 到底能做什麼？

未來 Agent Safety 很可能越來越像傳統 Cybersecurity。

重要問題將包括權限隔離、身份驗證、Audit Log、Sandbox、Rate Limit、API Scope、Human Approval、異常行為偵測，以及出現問題後能不能立刻撤銷 Agent 權限。

模型越聰明，這些傳統又有點無聊的安全機制反而可能越重要。

因為真正危險的不一定是一個會說奇怪話的 AI，而可能是一個非常聰明、非常積極，而且同時拿著系統管理員權限的 AI。

CLTR 因此呼籲英國政府要求 AI 公司監控並通報高嚴重度 loss-of-control incidents，同時建立處理嚴重事故的緊急權力，例如要求企業提供資訊、強制採取緩解措施，甚至在必要時暫時限制特定 AI 服務。

目前絕大多數被偵測的事件仍未造成重大實際傷害，這並不是一場已經失去控制的 AI 災難。

但 Agent 正把 AI 的錯誤從「文字輸出」搬進「真實操作」。

這可能才是 1,664 這個數字真正值得關注的原因：當 AI 從會說話的工具變成會做事的工具，人類必須重新思考的，不只是模型回答得對不對，而是我們到底願意把多少權限交到它手上。

Tech English 專有名詞

AI Agent（AI 代理）：不只生成文字，而是能規劃任務、使用外部工具並自主執行多步驟操作的 AI 系統。

Loss of Control Incident（失控事件）：AI 系統明顯偏離使用者意圖、規避監督或採取未授權行動的事件。這不等於 AI 已獲得自我意識。

Human-in-the-Loop, HITL（人類在迴路監督）：在 AI 工作流程的重要操作加入人工確認，避免 AI 完全自主執行高風險行動。

Privilege Escalation（權限提升）：程式或使用者取得原本不應擁有的更高系統權限。若 AI Agent 主動尋找方式提高自己的操作權限，也屬重要安全風險。

Principle of Least Privilege（最小權限原則）：系統只給使用者或 Agent 完成當前工作所需的最低權限，降低錯誤或遭攻擊時的影響範圍。

Agent Alignment（代理對齊）：確保 AI Agent 不只是完成最終目標，連選擇的執行方法也符合使用者真正意圖、限制與安全規則。