律師把隱藏指令塞進訴狀,想操縱法院 AI:巴西提示注入案為何遭罰 1.6 萬美元?
30秒摘要
巴西兩名律師在勞動訴訟文件中藏入白底白字的 AI 指令,企圖讓司法 AI 草率審查,最後遭罰約 1.6 萬美元。從 Prompt Injection 技術原理到法院 AI 的信任邊界,解析這起案件與巴西其他司法 AI 攻擊事件。
重點摘要
- 01白底白字的隱藏命令對人眼不可見,卻可能被文件解析流程讀取。
- 02兩名律師因企圖操縱司法 AI 遭裁罰約 1.6 萬美元。
- 03偵測到攻擊不代表模型曾被成功操縱。
- 04巴西高等法院在 2026 年另公布多宗司法提示注入事件。
一份人眼看不見、AI 卻讀得到的訴狀
2026 年 11 月 1 日,《Tom’s Hardware》報導巴西一起司法 AI 操縱事件:兩名律師在勞動訴訟文件中嵌入白色字體、白色背景的隱藏指令,企圖影響人工智慧對訴狀的處理。這起事件並非 11 月才發生,相關裁判可追溯至 2026 年 5 月。涉案法院位於巴西帕拉州,屬第八區勞動司法體系。
法院在處理文件時發現異常文字,改變字體顏色後,揭露了直接對 AI 下命令的內容。依報導與裁判轉述,該指令要求人工智慧以膚淺方式回應訴狀、不要質疑文件,且無論收到什麼其他指令都要遵從。這不是普通法律論述,而是刻意把命令塞進原本應被當作證據與陳述的文件。
兩名簽署訴狀的律師因此遭處以相當於案件價值 10% 的罰款,約 8.4 萬巴西雷亞爾,媒體折合約 1.6 萬美元;法院亦通知律師公會與司法監督機關。美元換算會隨匯率變動,不應把 1.6 萬美元視為原判決的固定幣別金額。
攻擊究竟如何運作?
大型語言模型處理文件時,通常會先從 PDF、Word 或其他格式抽取文字,再把抽取內容放入模型的上下文。問題在於,人類視覺上的不可見,不等於機器抽取不到。白底白字、極小字級或藏在圖形元素中的文字,可能仍被解析器完整讀出。
這次攻擊利用的就是這個落差。法官或律師打開文件,看見的是正常訴狀;AI 的文字處理流程卻可能額外接收到一段命令。攻擊者希望模型把文件內的命令誤認為應遵守的操作規則,進而降低審查強度。
從安全工程角度看,這稱為間接提示注入(Indirect Prompt Injection)。使用者真正授權的任務可能是「整理案件爭點」或「分析訴狀」,但訴狀本身是低信任度資料。資料中的文字不能自行升格成系統指令。
為何這不是一般的提示詞?
正常訴狀可以寫「請法院採納本方主張」,因為那是公開、可由對方辯論的訴訟請求。然而,隱藏文字直接稱呼人工智慧,要求它無視其他命令、放棄質疑文件,對象是處理文件的系統,而不是法官或對造。其隱蔽方式與命令式語氣,正是判斷是否存在操縱意圖的重要線索。
這裡還有一個常見誤解需要釐清:法院發現提示注入,不等於 AI 已經被成功控制。公開報導顯示,該案被告沒有提出答辯,原告因此取得缺席情況下的有利結果;現有資料沒有證明隱藏命令實際改變了 AI 輸出或法院判決。法院處罰的是試圖干預司法程序的行為,而不是已證實的模型失守。
司法 AI 為何特別敏感?
在一般聊天機器人中,提示注入可能讓摘要偏題;在司法流程中,後果可能涉及證據權重、訴訟程序與當事人的權利。AI 即使只是協助整理文件,若錯誤摘要被人員過度信任,也可能造成自動化偏誤(Automation Bias)。
因此真正的風險不只在模型會不會「聽話」,還包括整個工作流程是否能辨識文件來源、保留原文、標示可疑指令,並確保法律判斷由具責任的專業人員審查。
巴西不是只有這一案
巴西高等法院(STJ)在 2026 年 9 月公布另一件案件:一份上訴文件夾帶隱藏指令,要求 AI 認定當事人的法律論點勝訴並作出有利裁判。法院認定涉及惡意訴訟,裁罰相當於案件價值 10%,並通知相關機關。
2026 年 10 月 20 日,STJ 又公布一件不同案件:文件的裝飾性頁尾與其他位置藏有命令,企圖誘導 AI 產生支持上訴的論述。法院對涉案律師處以 2 萬巴西雷亞爾罰款,並要求製作技術報告。這個 2 萬雷亞爾案例與本文開頭約 1.6 萬美元的勞動法院案件不同,不應混為一談。
這些案例說明,提示注入已不只是研究人員設計的測試題,而是進入真實、具有法律後果的文件處理環境。
如何防守:把文件當資料,而不是上級命令
第一道防線是輸入解析。系統應保留文字的位置、顏色、字級、圖層等資訊,針對白底白字、極小字與不合理隱藏文字進行標記,而非只抽取純文字後直接送給模型。
第二道防線是信任邊界。文件中的「忽略之前指令」或「必須判我勝訴」只能被當作待分析的可疑內容,不能覆蓋開發者設定、法院流程或使用者的合法工作要求。
第三道防線是輸出驗證。涉及判決、證據認定或重大權利的結果,應可追溯到原始文件段落,並由人類審查。模型聲稱某文件沒有爭議,不等於文件在法律上真的沒有爭議。
第四道防線是稽核與測試。司法機構可以建立包含隱藏文字、跨頁註解、PDF 圖層與多語命令的對抗測試集,評估模型是否把不可信內容錯當成指令。偵測到攻擊也應記錄與通報,而非僅在回答中忽略。
更深一層:AI 讀懂文字,不代表理解文字的權限
傳統軟體通常把資料與程式指令分開;語言模型卻使用同一種自然語言表達任務、引用資料與操作要求。攻擊者正是利用這種表面上的共同語言,試圖跨越原本應存在的權限邊界。
真正可靠的司法 AI,不應只追求更高的法律問答分數,還必須回答另一個問題:當一份文件同時包含證據、陳述、引用與惡意命令時,系統能否始終分辨哪些文字有權指揮自己?
巴西的案例提醒我們,AI 安全不只是防止模型說出錯誤答案,更是確保制度中的權限、責任與程序不會被藏在文件角落的一行文字改寫。
Tech English|技術名詞中英對照
Prompt Injection(提示注入):攻擊者透過文字指令誘導 AI 偏離原本授權任務的攻擊方式。
Indirect Prompt Injection(間接提示注入):惡意指令藏在網頁、文件或其他外部資料中,藉由模型讀取資料時進入上下文。
Trust Boundary(信任邊界):用來區分哪些來源有權發出指令、哪些來源只能提供待處理資料的安全界線。
Document Parsing(文件解析):將 PDF、Word 等文件中的文字、結構與中繼資訊擷取供軟體處理的流程。
Automation Bias(自動化偏誤):人類過度相信自動化系統的建議,忽略系統可能出錯或被操縱的現象。
Human-in-the-Loop(人類參與審查):在關鍵自動化流程中保留人工驗證、覆核或決策權的設計。
Core takeaway
法院發現的不是 AI 已被攻破,而是有人企圖利用隱藏在法律文件中的命令,跨越資料與系統指令之間的信任邊界。
Why it matters
司法 AI 正在接觸具法律效力的外部文件;若不能區分證據與命令,文件閱讀工具可能成為程序操縱的入口。這類風險同樣適用於醫療紀錄、政府文件與企業知識庫。
Data story
02Tech index
06限制與注意
04- 0111 月 1 日為媒體報導日期,勞動法院事件可追溯至 2026 年 5 月。
- 02沒有證據顯示隱藏指令成功改變 AI 的輸出或司法裁判。
- 03勞動法院 Galileu 案與 STJ 於 9 月、10 月公布的案例為不同案件。
- 04本文技術防禦措施屬一般安全工程建議,不代表涉案法院已全面部署。
原始來源
tomshardware.com