AI Security

律師把隱藏指令塞進訴狀,想操縱法院 AI:巴西提示注入案為何遭罰 1.6 萬美元?

晶片觀測站2026/11/0210 min read
分享

30秒摘要

巴西兩名律師在勞動訴訟文件中藏入白底白字的 AI 指令,企圖讓司法 AI 草率審查,最後遭罰約 1.6 萬美元。從 Prompt Injection 技術原理到法院 AI 的信任邊界,解析這起案件與巴西其他司法 AI 攻擊事件。

重點摘要

  1. 01白底白字的隱藏命令對人眼不可見,卻可能被文件解析流程讀取。
  2. 02兩名律師因企圖操縱司法 AI 遭裁罰約 1.6 萬美元。
  3. 03偵測到攻擊不代表模型曾被成功操縱。
  4. 04巴西高等法院在 2026 年另公布多宗司法提示注入事件。

一份人眼看不見、AI 卻讀得到的訴狀

2026 年 11 月 1 日,《Tom’s Hardware》報導巴西一起司法 AI 操縱事件:兩名律師在勞動訴訟文件中嵌入白色字體、白色背景的隱藏指令,企圖影響人工智慧對訴狀的處理。這起事件並非 11 月才發生,相關裁判可追溯至 2026 年 5 月。涉案法院位於巴西帕拉州,屬第八區勞動司法體系。

法院在處理文件時發現異常文字,改變字體顏色後,揭露了直接對 AI 下命令的內容。依報導與裁判轉述,該指令要求人工智慧以膚淺方式回應訴狀、不要質疑文件,且無論收到什麼其他指令都要遵從。這不是普通法律論述,而是刻意把命令塞進原本應被當作證據與陳述的文件。

兩名簽署訴狀的律師因此遭處以相當於案件價值 10% 的罰款,約 8.4 萬巴西雷亞爾,媒體折合約 1.6 萬美元;法院亦通知律師公會與司法監督機關。美元換算會隨匯率變動,不應把 1.6 萬美元視為原判決的固定幣別金額。

攻擊究竟如何運作?

大型語言模型處理文件時,通常會先從 PDF、Word 或其他格式抽取文字,再把抽取內容放入模型的上下文。問題在於,人類視覺上的不可見,不等於機器抽取不到。白底白字、極小字級或藏在圖形元素中的文字,可能仍被解析器完整讀出。

這次攻擊利用的就是這個落差。法官或律師打開文件,看見的是正常訴狀;AI 的文字處理流程卻可能額外接收到一段命令。攻擊者希望模型把文件內的命令誤認為應遵守的操作規則,進而降低審查強度。

從安全工程角度看,這稱為間接提示注入(Indirect Prompt Injection)。使用者真正授權的任務可能是「整理案件爭點」或「分析訴狀」,但訴狀本身是低信任度資料。資料中的文字不能自行升格成系統指令。

為何這不是一般的提示詞?

正常訴狀可以寫「請法院採納本方主張」,因為那是公開、可由對方辯論的訴訟請求。然而,隱藏文字直接稱呼人工智慧,要求它無視其他命令、放棄質疑文件,對象是處理文件的系統,而不是法官或對造。其隱蔽方式與命令式語氣,正是判斷是否存在操縱意圖的重要線索。

這裡還有一個常見誤解需要釐清:法院發現提示注入,不等於 AI 已經被成功控制。公開報導顯示,該案被告沒有提出答辯,原告因此取得缺席情況下的有利結果;現有資料沒有證明隱藏命令實際改變了 AI 輸出或法院判決。法院處罰的是試圖干預司法程序的行為,而不是已證實的模型失守。

司法 AI 為何特別敏感?

在一般聊天機器人中,提示注入可能讓摘要偏題;在司法流程中,後果可能涉及證據權重、訴訟程序與當事人的權利。AI 即使只是協助整理文件,若錯誤摘要被人員過度信任,也可能造成自動化偏誤(Automation Bias)。

因此真正的風險不只在模型會不會「聽話」,還包括整個工作流程是否能辨識文件來源、保留原文、標示可疑指令,並確保法律判斷由具責任的專業人員審查。

巴西不是只有這一案

巴西高等法院(STJ)在 2026 年 9 月公布另一件案件:一份上訴文件夾帶隱藏指令,要求 AI 認定當事人的法律論點勝訴並作出有利裁判。法院認定涉及惡意訴訟,裁罰相當於案件價值 10%,並通知相關機關。

2026 年 10 月 20 日,STJ 又公布一件不同案件:文件的裝飾性頁尾與其他位置藏有命令,企圖誘導 AI 產生支持上訴的論述。法院對涉案律師處以 2 萬巴西雷亞爾罰款,並要求製作技術報告。這個 2 萬雷亞爾案例與本文開頭約 1.6 萬美元的勞動法院案件不同,不應混為一談。

這些案例說明,提示注入已不只是研究人員設計的測試題,而是進入真實、具有法律後果的文件處理環境。

如何防守:把文件當資料,而不是上級命令

第一道防線是輸入解析。系統應保留文字的位置、顏色、字級、圖層等資訊,針對白底白字、極小字與不合理隱藏文字進行標記,而非只抽取純文字後直接送給模型。

第二道防線是信任邊界。文件中的「忽略之前指令」或「必須判我勝訴」只能被當作待分析的可疑內容,不能覆蓋開發者設定、法院流程或使用者的合法工作要求。

第三道防線是輸出驗證。涉及判決、證據認定或重大權利的結果,應可追溯到原始文件段落,並由人類審查。模型聲稱某文件沒有爭議,不等於文件在法律上真的沒有爭議。

第四道防線是稽核與測試。司法機構可以建立包含隱藏文字、跨頁註解、PDF 圖層與多語命令的對抗測試集,評估模型是否把不可信內容錯當成指令。偵測到攻擊也應記錄與通報,而非僅在回答中忽略。

更深一層:AI 讀懂文字,不代表理解文字的權限

傳統軟體通常把資料與程式指令分開;語言模型卻使用同一種自然語言表達任務、引用資料與操作要求。攻擊者正是利用這種表面上的共同語言,試圖跨越原本應存在的權限邊界。

真正可靠的司法 AI,不應只追求更高的法律問答分數,還必須回答另一個問題:當一份文件同時包含證據、陳述、引用與惡意命令時,系統能否始終分辨哪些文字有權指揮自己?

巴西的案例提醒我們,AI 安全不只是防止模型說出錯誤答案,更是確保制度中的權限、責任與程序不會被藏在文件角落的一行文字改寫。

Tech English|技術名詞中英對照

Prompt Injection(提示注入):攻擊者透過文字指令誘導 AI 偏離原本授權任務的攻擊方式。

Indirect Prompt Injection(間接提示注入):惡意指令藏在網頁、文件或其他外部資料中,藉由模型讀取資料時進入上下文。

Trust Boundary(信任邊界):用來區分哪些來源有權發出指令、哪些來源只能提供待處理資料的安全界線。

Document Parsing(文件解析):將 PDF、Word 等文件中的文字、結構與中繼資訊擷取供軟體處理的流程。

Automation Bias(自動化偏誤):人類過度相信自動化系統的建議,忽略系統可能出錯或被操縱的現象。

Human-in-the-Loop(人類參與審查):在關鍵自動化流程中保留人工驗證、覆核或決策權的設計。

Core takeaway

法院發現的不是 AI 已被攻破,而是有人企圖利用隱藏在法律文件中的命令,跨越資料與系統指令之間的信任邊界。

Why it matters

司法 AI 正在接觸具法律效力的外部文件;若不能區分證據與命令,文件閱讀工具可能成為程序操縱的入口。這類風險同樣適用於醫療紀錄、政府文件與企業知識庫。

Data story

02

10%

勞動法院案件裁罰比例

Tom's Hardware;裁判轉述約 1.6 萬美元為媒體換算,並非原判決幣別。

R$20,000

10 月另一宗 STJ 案件罰款

巴西高等法院 STJ獨立案件,不是勞動法院的 1.6 萬美元罰款。

Tech index

06
01Prompt Injection
02Indirect Prompt Injection
03Document Parsing
04Trust Boundary
05AI Security
06LegalTech

限制與注意

04
  1. 0111 月 1 日為媒體報導日期,勞動法院事件可追溯至 2026 年 5 月。
  2. 02沒有證據顯示隱藏指令成功改變 AI 的輸出或司法裁判。
  3. 03勞動法院 Galileu 案與 STJ 於 9 月、10 月公布的案例為不同案件。
  4. 04本文技術防禦措施屬一般安全工程建議,不代表涉案法院已全面部署。

資料來源

03
01

Tom's Hardware|Brazilian lawyers busted for attempting to manipulate court's AI

media

02

STJ|2026 年 10 月 20 日法院公告

official

03

STJ|2026 年 9 月 3 日法院公告

official

原始來源

tomshardware.com