Google TPU 8tx 攜手 AMD EPYC、8i Max 雙晶片封裝：AI 運算競爭進入系統設計時代

Google 的新方向：不是只換晶片，而是重組整台 AI 電腦

2026 年 11 月 9 日，Google 公布 TPU 8tx 與 TPU 8i Max，將第八代 TPU 系統擴充為 8t、8i、8tx 與 8i Max 四種配置。Google 特別強調，這次推出的是「系統」而不只是新的矽晶片：同一代運算核心可以搭配不同的主機 CPU、晶片封裝、互連網路、記憶體與安全機制，以回應訓練、即時推論、機密推論及超長上下文四類需求。Google 表示這是首次在一年內推出四款 TPU 系統。這種做法的工程意義在於，晶片研發通常需要多年，但系統層級的重新配置可能在較短時間內完成。

四款第八代 TPU，各自負責什麼

TPU 8t 主要面向大型基礎模型訓練；TPU 8i 著重低延遲推論與推理；TPU 8tx 沿用 8t 的矽晶片，增加機密運算能力並導入低延遲網路；TPU 8i Max 則把兩顆 8i 整合到單一封裝，針對龐大上下文與高機櫃密度。這是產品定位而非絕對用途限制，實際工作負載仍可能交叉。Google 對前兩款系統宣稱，相對前一代分別具有最高 2.7 倍訓練效能及 80% 推論性價比提升；這些是不同基準與指標，不宜直接放在同一張效能排名圖。

TPU 8tx：為何要配第五代 AMD EPYC

Google 官方說明指出，TPU 8tx 使用與 TPU 8t 相同的矽晶片，搭配第五代 AMD EPYC CPU 主機。CPU 在 AI 加速器系統中不只是附屬零件，還負責作業系統、資料前處理、工作排程、記憶體管理與主機側安全邊界。對高度監管的企業而言，模型權重、私有資料及推論中間狀態都可能具有敏感性。一般資料能在儲存時或傳輸時加密，但計算時通常必須以可用形式進入記憶體；機密運算的目標，是讓資料在使用中仍受到硬體隔離與保護。這不代表任何攻擊情境都已被排除，也不能在缺少技術白皮書時自行斷言具體使用了哪一種 AMD 安全功能或信任鏈設計。

Boardfly：把訓練級算力帶進低延遲推論

TPU 8tx 採用 Google 為即時推論設計的低延遲 Boardfly 網路。Google 宣稱，相對 TPU 8t，8tx 的延遲最高可降低約 2 倍，且機密運算功能帶來的效能損耗接近零。這裡的「2 倍」描述的是官方特定比較條件下的延遲，不是所有模型的吞吐量、每秒 Token 數或成本都翻倍。AI Agent 往往需要連續執行多次模型呼叫與工具操作，單次請求的等待時間會累積，因此網路延遲可能比峰值 FLOPS 更影響實際體驗。

為什麼機密推論也需要訓練能力

Google 將 8tx 定位為安全推論與小規模訓練平台。企業可在同一套受保護環境內使用內部資料微調模型、進行模型蒸餾，以及為 Agent 執行強化學習訓練。工程價值在於減少敏感資料於不同訓練與推論叢集之間的移動，降低系統整合負擔與潛在暴露面。不過，是否能達成特定法規的合規要求，仍取決於金鑰管理、存取權限、稽核、資料所在地與完整部署方式，不能僅憑硬體宣傳推定。

TPU 8i Max：兩顆 8i 為何放進同一封裝

另一條路線針對記憶體高牆。當 AI Agent 需要同時分析大型程式碼庫、長時間影片或超長上下文，模型不只要做矩陣乘法，也需要頻繁讀取權重、KV Cache 與中間資料。運算單元再快，資料供應不上仍會閒置。Google 因此將兩顆低延遲 TPU 8i 晶片整合在單一封裝內，宣稱相對單顆 8i，運算能力、SRAM 容量與 HBM 頻寬都增加為兩倍。這是資源規模的宣稱，不等於單一任務端到端速度必然翻倍。

SRAM、HBM 與 KV Cache 的分工

SRAM 位於更接近運算核心的位置，容量通常有限，但存取延遲低，適合保存頻繁使用的中間資料；HBM 提供更大的高頻寬儲存空間，用於模型權重及大量運算資料。長上下文推論常需要保留注意力機制產生的 Key-Value Cache，其記憶體需求會受到模型架構、序列長度、批次數量與資料精度影響。增加 SRAM 和 HBM 頻寬可降低部分瓶頸，但若軟體無法有效分配工作，或跨晶片同步成本過高，效能提升仍可能低於硬體資源增加的比例。

單一封裝不是單一晶粒：先進封裝的關鍵

TPU 8i Max 的「單一封裝內兩顆 TPU 8i」應理解為多晶片封裝，而不是將兩顆晶片神奇合成一個更大的單體晶粒。封裝內需要處理晶片間連接、訊號完整性、供電與散熱；記憶體頻寬、封裝尺寸與良率也會影響成本。Google 表示 8i Max 能在既有機櫃占地內配置兩倍矽晶片，提升每單位面積的運算密度。然而，目前官方公告沒有提供足夠資料，讓外界獨立計算整機功耗、每瓦實測性能、封裝成本或散熱設計，因此不應把「密度翻倍」直接寫成「電費減半」。

AMD 與 Google 合作意味著什麼

這次最有意思的產業訊號，是 Google 在自研 TPU 系統中選擇第五代 AMD EPYC 作為 8tx 主機。AI 資料中心的競爭不只發生在 GPU 與 TPU，也涉及 CPU、記憶體、互連、軟體與機密運算能力。AMD 在此扮演主機平台供應者，並不代表 EPYC 取代 TPU 執行主要張量運算，也不代表 Google 全面放棄其他 CPU 架構。Google 的做法反映異質運算：依不同安全、延遲與工作負載需求選擇系統元件。

對 NVIDIA 的競爭：不能只比峰值 FLOPS

Google TPU 擴充產品線，確實增加企業在 AI 基礎設施上的選擇，但不能僅依官方單一性能數字斷言 TPU 已全面超越 NVIDIA GPU。企業採購還需要比較軟體相容性、PyTorch 工作流程、模型移植成本、服務可用區域、總持有成本、記憶體配置與長期維運。Google 也明確提到持續降低 TPU 的開發門檻。對 AI 晶片產業而言，競爭焦點正從「哪顆晶片峰值算力最大」延伸到「哪套系統能以可接受成本，安全且穩定地完成指定任務」。

Tech English｜六個必懂名詞

Confidential Computing（機密運算）：透過硬體隔離等機制，降低資料在運算中遭未授權存取的風險。

Host CPU（主機處理器）：負責管理 AI 加速器周邊的作業系統、資料流與控制工作。

Multi-Chip Package（多晶片封裝）：把多個晶粒或晶片整合在同一封裝中，改善系統整合密度。

High Bandwidth Memory, HBM（高頻寬記憶體）：為高吞吐運算提供大量資料傳輸頻寬的記憶體技術。

SRAM（靜態隨機存取記憶體）：常用於晶片內部高速暫存，延遲低但面積成本較高。

Memory Wall（記憶體高牆）：處理器算力增長快於資料供應能力時產生的效能瓶頸。