Arm AGI CPU 機櫃效能是 AMD EPYC 9755 的 1.99 倍？拆解七項 AI Agent 測試與真正的效能差距

Arm 宣布了什麼？

2026 年 10 月 13 日，Arm 公布一套面向代理式 AI（Agentic AI）的 CPU 評估方法，並發表由 Signal65 驗證的比較結果。Arm 宣稱，在七項指定工作負載中，AGI CPU 相較 AMD 第五代 EPYC 9755，平均單顆晶片效能約 1.20 倍，而依據固定功率預算建立的單機櫃模型則達到 1.99 倍。這兩個數字描述不同層級，不能混為一談。

為什麼 AI Agent 需要 CPU？

大型語言模型的矩陣運算通常依靠 GPU 等加速器，但 AI Agent 不只有模型推論。代理程式還會啟動隔離環境、執行 Shell 指令、讀寫檔案、查詢向量資料庫、呼叫 HTTP API、管理工作佇列，並反覆檢查執行結果。這些操作需要 CPU、記憶體、儲存裝置與網路共同協作。當大量代理同時運作，CPU 可能成為影響整體吞吐量與回應延遲的瓶頸。

新方法如何衡量效能？

Arm 提出三項原則：挑選具代表性的代理工作場景、建立可重複的 CPU 測量，以及以端到端任務成果驗證。由於同一個 AI Agent 每次可能採取不同工具呼叫路徑，研究方法包含重播已記錄的執行序列，減少模型輸出與外部網路變動的干擾。元件效能測試與端到端驗證必須分開看：資料庫每秒處理更多交易，不必然代表整個代理任務會同比例加速。

七項工作負載的差異

測試涵蓋 MySQL（交易資料庫）、NGINX（HTTP 請求）、Milvus（向量檢索）、Terminal-Bench 2（隔離容器內的代理任務）、SWE-bench replay（軟體工程工作流程重播）、fastText（CPU 文字表示訓練）與 vLLM CPU overhead（模型服務的 CPU 周邊負載）。其中 vLLM 項目刻意排除模型運算，不能拿來宣稱 GPU 推論速度提高；所謂 reasoning/planning 類別也不等於測量模型的推理智力。

逐項結果：不是每一項都領先

以 AMD EPYC 9755 單顆晶片效能為 1.00 倍，Arm 在 MySQL 為 0.88 倍、NGINX 為 1.20 倍、Terminal-Bench 2 為 1.09 倍、SWE-bench replay 為 1.13 倍、Milvus 為 0.95 倍、vLLM CPU overhead 為 1.16 倍、fastText 為 1.97 倍。換言之，Arm 在七項中領先五項，但 MySQL 與 Milvus 仍落後。這些正規化比值的算術平均約為 1.20 倍，並非所有實際部署的平均加速率。

為什麼機櫃效能接近翻倍？

機房受到電力、散熱與空間約束。比較模型設定機櫃功率預算 24 kW，扣除約 8% 網路與配電預留後，估算可容納 21 至 23 台 Arm 伺服器，而 AMD 配置為 13 台。模型使用的伺服器額定功率估算約為 Arm 950 至 1,050 W、AMD 1,700 W。以 SWE-bench 為例，1.13 倍單晶片效能乘上 23/13 的伺服器數量比，得到約 2.00 倍的機櫃效能。這不是兩座裝滿伺服器的實體機櫃直接對跑。

測試硬體與記憶體配置

Arm 由於硬體供應情況，使用 128 核心、2.8 GHz、DDR5-7200 與 136 核心、3.2 GHz、DDR5-8000 兩種配置；AMD 對照組為單插槽 128 核心 EPYC 9755、DDR5-6400。軟體與 Linux 核心版本也存在差異。機櫃模型另以每個硬體執行緒分配 4 GB 記憶體，導致 AMD 配置約 2 TB、Arm 約 1 TB。當改以每個實體核心配置記憶體，Arm 平均機櫃優勢由 1.99 倍縮至約 1.81 倍，顯示模型對配置假設相當敏感。

獨立驗證究竟驗證了什麼？

Signal65 檢視測試執行、原始日誌、腳本與設定紀錄，並由另一組人員重建計算，七項結果可在約 0.5% 內重現。但這並不等於 Signal65 在自己的實驗室獨立重跑所有硬體測試。相關研究由 Arm 委託，且部分 BIOS 與記憶體設定無法完整獨立確認。因此可將其視為具外部審查的特定配置比較，而非已被產業公認的全面性能排名。

對資料中心與晶片產業的意義

這份研究凸顯了效能衡量從單顆處理器延伸到每瓦、每機櫃有效工作量的趨勢。AI Agent 若大規模部署，CPU 的工作不只是餵資料給 GPU，也包含維持隔離環境、執行工具與協調多階段工作流。不過採購仍須考慮軟體相容性、實際記憶體需求、網路、價格、維運成本，以及任務完成時間。不同廠商採用不同測試組合與模型假設，跨報告的倍數不宜直接比較。

結論

Arm AGI CPU 的 1.99 倍數字，真正反映的是指定七項工作負載、特定功率與記憶體假設下的機櫃級模型優勢，而非單顆 CPU 效能翻倍，更不代表 AI 模型的智慧提升兩倍。隨著代理式 AI 成為基礎設施的常態工作負載，如何公平測量完成的工作量，可能和晶片本身的跑分一樣重要。

Tech English｜本文技術名詞

1. Agentic AI（代理式人工智慧）：能透過工具、狀態管理與多步驟操作執行任務的 AI 系統。
2. Performance per Rack（每機櫃效能）：在機櫃空間及功率限制內可完成的工作量。
3. Workload Replay（工作負載重播）：重播記錄的操作序列，以減少測試執行路徑變動。
4. Sandbox（沙盒）：隔離程式執行環境，限制任務對主系統的影響。
5. Throughput（吞吐量）：單位時間內完成的請求、交易或任務數量。
6. SMT（同步多執行緒）：讓一個實體 CPU 核心呈現多個邏輯執行緒的技術。