AI 伺服器下一個驚人的數字：74.7TB

NVIDIA 下一代 Vera Rubin 平台正在把 AI 伺服器的記憶體需求推向一個過去難以想像的規模。

根據 UBS 報告所整理的物料成本（BOM）估算，Vera Rubin 系統最大的成本來源已經不是單純的 GPU，而是記憶體。

完整 Vera Rubin NVL72 機櫃代號為 Oberon，配置 72 顆 Rubin GPU 與 36 顆 Vera CPU。

每顆 Rubin GPU 搭載 288GB HBM4，而每顆 Vera CPU 則搭配最高 1.5TB SOCAMM2 LPDDR5X 記憶體。

全部加總後，一個 NVL72 機櫃包含約：

• 20.7TB HBM4
• 54TB LPDDR5X
• 合計 74.7TB DRAM

原始報導以智慧型手機作為比較，指出一個 Vera Rubin NVL72 機櫃使用的 DRAM 容量，大約相當於 4,500 支智慧型手機。

而真正值得注意的並不是單一機櫃有多誇張，而是 NVIDIA 未來可能部署數千個這類 AI 機櫃。

當大型雲端服務商、AI 資料中心、企業與 HPC 系統同時增加採購時，AI 對全球記憶體供應鏈的影響也可能進一步放大。

一個 NVL72 到底裝了什麼？

先從 Vera Rubin NVL72 的基本架構來看。

一個完整 NVL72 機櫃包含 72 顆 Rubin GPU，以及 36 顆 Vera CPU。

每個 Vera Rubin Tray 配置 4 顆 Rubin GPU與 2 顆 Vera CPU。

其中 2 顆 GPU 加上 1 顆 CPU 組成一個 Superchip，而完整 NVL72 系統共有 36 組 Superchip。

因此：

36 組 Superchip × 2 顆 Rubin GPU = 72 顆 GPU。

36 組 Superchip × 1 顆 Vera CPU = 36 顆 CPU。

除了 CPU 與 GPU，完整機櫃還必須包含高速互連、網路、供電、液冷與其他基礎設備，因此整個 NVL72 實際上是一套高度整合的 AI 運算系統，而不是單純把大量 GPU 塞進伺服器機架。

Rubin GPU：288GB HBM4、最高 22TB/s 頻寬

Rubin GPU 本身搭載 288GB HBM4 記憶體，記憶體頻寬最高可達 22TB/s。

如果一個 NVL72 配置 72 顆 Rubin GPU，總 HBM4 容量約為：

72 × 288GB = 20,736GB。

也就是約 20.7TB HBM4。

HBM 一直都是 AI GPU 最重要的零組件之一，因為大型語言模型與 AI 訓練工作負載不只需要大量計算能力，也需要快速將資料送進 GPU。

如果 GPU 運算能力持續增加，但記憶體頻寬無法同步提升，大量運算單元就可能因等待資料而無法充分利用。

因此從 HBM3E 進入 HBM4，並不只是單純增加容量，而是 NVIDIA 下一代 AI 平台提升整體資料吞吐能力的重要環節。

真正驚人的反而是 Vera CPU：每顆搭配 1.5TB LPDDR5X

如果說 20.7TB HBM4 已經很驚人，那 Vera CPU 端的記憶體配置甚至更加龐大。

每顆 Vera CPU 搭配最高 1.5TB SOCAMM2 LPDDR5X 記憶體。

36 顆 Vera CPU 加總後，就是約 54TB LPDDR5X。

這也讓 Vera Rubin NVL72 的總記憶體容量來到約 74.7TB。

值得注意的是，LPDDR 過去最廣為人知的應用是智慧型手機與其他低功耗裝置，但 AI 伺服器對容量、功耗與頻寬的需求，正在讓 LPDDR 技術進一步進入高階資料中心平台。

而當單一 CPU 就需要 TB 等級的 LPDDR5X 時，AI 基礎建設對 DRAM 市場的影響範圍，也不再只侷限於 HBM。

UBS 估算：一組 Superchip 約 38,902 美元

根據 UBS 報告估算，一組 NVIDIA Vera Rubin Superchip 的物料成本約為 38,902 美元。

其中記憶體相關成本，包括 HBM4 與 SOCAMM2 LPDDR5X，就高達約 24,297 美元。

換句話說，記憶體約占整個 Superchip 成本的 62%。

這是一個非常重要的變化。

過去談論 AI 加速器成本時，市場通常首先想到 GPU 晶片本身以及先進封裝。

但到了 Vera Rubin 世代，記憶體已經成為整個平台成本結構中更加突出的部分。

Rubin GPU：約一半成本來自 HBM4

UBS 對 Rubin GPU 部分的估算顯示，包括 GPU、HBM4、封裝、中介層與其他周邊零組件後，單顆 Rubin GPU 相關成本約為 9,247 美元。

其中 HBM4 本身約為 4,943 美元。

也就是說，HBM4 約占 Rubin GPU 成本的 53.4%，並占完整 Superchip 成本約 12.7%。

這再次凸顯 HBM 在高階 AI GPU 成本中的重要性。

GPU 晶片的運算能力雖然是產品性能核心，但要讓數萬個運算單元持續取得資料，就需要大量高頻寬記憶體，而這些 HBM 堆疊本身已經成為非常昂貴的零組件。

Vera CPU 更極端：96.4% 成本來自記憶體

真正讓整份成本分析變得特別醒目的，是 Vera CPU。

UBS 估算 Vera 部分的成本約為 20,059 美元，其中 SOCAMM2 LPDDR5X 就占約 19,355 美元。

也就是說，記憶體約占 Vera 部分成本的 96.4%。

若從完整 Superchip 計算，光 SOCAMM2 記憶體就占約 49.8% 成本。

根據這套估算，如果扣除記憶體，Vera CPU 本身相關成本僅約 704 美元。

需要注意的是，這些都是 UBS 的 BOM 成本模型估算，並非 NVIDIA 官方公布的實際採購成本，因此更適合用來觀察成本結構，而不能直接視為 NVIDIA 真正支付給供應商的價格。

但即使如此，它仍揭露了一個非常明顯的趨勢：下一代 AI 系統的成本正在快速向記憶體傾斜。

Grace Blackwell 到 Vera Rubin：記憶體成本暴增 2.5 倍

與 Grace Blackwell 世代相比，Vera Rubin 的成本結構進一步向 DRAM 傾斜。

根據報告比較，Grace Blackwell 系統的記憶體成本占比約為 53%，到了 Vera Rubin則提高至約 62%。

更值得注意的是增長速度。

Vera Rubin 整體成本約為前一代的 2.1 倍，但記憶體成本卻增加約 2.5 倍。

也就是說，DRAM 成本的增長速度甚至超過整個 AI 運算平台本身。

這種變化反映下一代 AI 系統的一個核心方向：除了增加 GPU 運算能力，也必須同時大幅提高記憶體容量與頻寬。

Grace Blackwell 的記憶體配置已經很大，但 Rubin 又往上跳一級

作為比較，Grace CPU 配置約 480GB 記憶體。

Blackwell GPU 則依不同版本搭載 192GB HBM3E，例如 GB200，或最高約 288GB HBM3E，例如 GB300。

進入 Vera Rubin 後，Rubin GPU直接使用 288GB HBM4，而 Vera CPU 則進一步配置最高 1.5TB LPDDR5X。

尤其 CPU 端記憶體從數百 GB 進入 1.5TB 等級，使整個機櫃的 DRAM 消耗出現巨大跳升。

因此 Vera Rubin 對記憶體產業的影響，不能只從 HBM4 需求觀察。

LPDDR5X 同樣可能成為 AI 資料中心擴張的重要受益者與供應瓶頸之一。

一個機櫃 ≈ 4,500 支智慧型手機的 DRAM

74.7TB 到底有多大？

原始報導提供了一個相當直觀的比較：大約相當於 4,500 支智慧型手機所使用的 DRAM 容量。

當然，不同智慧型手機的記憶體容量不同，因此這個數字主要是用來呈現規模，而不是精確描述所有手機的平均配置。

真正重要的是後面的乘數效應。

一個機櫃消耗 74.7TB 記憶體並不可怕；如果未來全球部署數千個甚至更多高密度 AI 機櫃，總需求就會迅速放大。

而且 NVIDIA 並不是唯一增加記憶體配置的公司。

AMD Helios 同樣把 HBM4 容量往上推

AMD 下一代 Helios 平台同樣朝高記憶體容量發展。

根據原始報導，AMD 的下一代平台單顆 GPU 最高可配置 432GB HBM4。

其下一代伺服器也預計使用大量 LPDDR5X。

因此，未來 DRAM 市場面對的並不是單一 NVIDIA 產品帶來的需求，而是整個 AI 加速器產業共同提高記憶體配置。

此外，其他大型 AI 業者也正在開發自己的 AI 加速器與伺服器平台。

當 GPU、ASIC 與各種客製化 AI 加速器同步提高 HBM 與系統記憶體容量時，記憶體供應鏈就可能成為整個 AI 基礎建設競爭的共同瓶頸。

AI 搶的不再只有 HBM

過去幾年，AI 與記憶體產業之間的討論大多集中在 HBM。

原因很簡單：NVIDIA、AMD 等 AI GPU 大量使用 HBM，而 HBM 本身又需要更複雜的 DRAM 堆疊、TSV 與先進封裝能力，因此產能擴張速度有限。

但 Vera Rubin 顯示，下一階段的問題可能更加廣泛。

20.7TB HBM4 已經非常龐大，但完整 NVL72 還需要 54TB LPDDR5X。

也就是說，一個 AI 機櫃對傳統 DRAM 類型的需求，甚至可能比 HBM 的容量更高。

這可能讓 AI 對記憶體市場的影響從高階 HBM，逐步向更廣泛的 DRAM 供應鏈擴散。

為什麼 AI 需要這麼多記憶體？

原因在於 AI 系統正在從單純追求運算能力，轉向追求『運算＋記憶體＋互連』的整體效率。

大型模型的參數、KV Cache、訓練資料、中間運算結果，以及多 GPU 之間需要交換的大量資料，都需要記憶體容量與頻寬支撐。

GPU 可以想像成非常快的運算工廠，但如果原料供應速度跟不上，再多運算單元也只能等待。

因此，隨著 GPU 算力提高，記憶體容量與頻寬也必須同步成長。

這也是為什麼 NVIDIA 從 Blackwell 推進至 Rubin 時，不只是更換 GPU 架構，而是把整個記憶體系統一起放大。

AI 基礎建設競賽正在變成記憶體競賽

Vera Rubin 的 BOM 結構揭露了一個比單一產品價格更值得注意的趨勢。

當記憶體已經占一組 Superchip 約 62% 成本，而且其成本增長速度達到前一代的約 2.5 倍，DRAM 已不再只是 AI 伺服器中的配角。

它正在成為決定 AI 系統成本、產量與部署速度的核心零組件之一。

這對記憶體產業意味著，AI 帶來的需求可能同時覆蓋 HBM4、LPDDR5X，以及與之相關的封裝與供應鏈。

原始報導也指出，主要記憶體供應商已警告供應緊張可能持續多年，而 AI 客戶正在透過長期協議取得優先供應。

如果 NVIDIA Vera Rubin、AMD Helios，以及其他大型 AI 業者的自研加速器都按照目前方向擴大部署，下一階段 AI 基礎建設真正需要爭奪的，可能不只是誰能拿到最多 GPU。

而是誰能拿到足夠多的記憶體。

從 Grace Blackwell 到 Vera Rubin，GPU 性能仍然是舞台中央的主角，但從成本結構來看，DRAM 已經悄悄坐上了最昂貴的位置。