一條 RAM 就有 512GB：Micron 推 DDR5-9200，單台伺服器記憶體可達 12TB

如果你的桌機裝了 32GB RAM，已經足以應付大多數遊戲與一般工作；128GB 通常已經進入高階工作站領域。但 Micron 這次展示的新記憶體模組，一條就直接來到 512GB。

更誇張的是，它並不是一條只追求容量、速度卻很慢的特殊記憶體。Micron 宣布這款 512GB DDR5 RDIMM 最高可達 9,200 MT/s，目前 AMD 與 Intel 都正在針對下一代伺服器平台進行驗證。

真正值得注意的地方，其實不是單純把 RAM 做到 512GB，而是 Micron 同時試圖解決資料中心越來越嚴重的另一個問題：記憶體容量增加之後，功耗不能跟著一起線性上升。

一條 512GB，為什麼比四條 128GB 重要？

如果伺服器需要 512GB 記憶體，傳統做法之一是安裝四條 128GB RDIMM。但每多一條 DIMM，不只是多幾顆 DRAM 晶片，還會增加 PCB、Register、電源管理、訊號負載與記憶體控制器需要面對的電氣複雜度。

根據 Micron 公布的測試數據，一條 512GB RDIMM 的 operating power 約為 16.0W，而四條 128GB RDIMM 合計約為 44.2W。

換句話說，在提供相同 512GB 容量的情況下，Micron 宣稱新模組可以降低超過 60% 的記憶體運作功耗。

對桌機玩家而言，幾十瓦可能看起來沒有非常驚人。但資料中心的數學完全不同。一台伺服器可能安裝十幾到二十多條 DIMM，一個機櫃又可能放入數十台伺服器，最後再乘上整座資料中心。當規模擴張到數千甚至數萬台機器時，每條記憶體省下的功耗，都會變成實際的供電與冷卻成本。

單台伺服器最高 12TB RAM

Micron 表示，512GB RDIMM 可以讓一台具有 24 個 DIMM 插槽的雙路伺服器配置最高約 12TB DDR5 DRAM。

12TB 是什麼概念？

如果拿一台 32GB RAM 的一般桌機比較，12TB 大約相當於 384 台 32GB 電腦的記憶體總容量。

但資料中心需要這麼大的 RAM，不是為了開數十萬個瀏覽器分頁，而是希望讓更多大型資料集直接留在主記憶體中。

電腦的資料層級可以簡化成：

CPU Cache ↓ DRAM ↓ NVMe SSD ↓ 其他儲存設備

越往下容量通常越大，但延遲也越高。如果大型資料集無法完整放入 DRAM，系統就必須持續在 SSD 與主記憶體之間搬運資料，而資料搬運本身就會消耗時間、頻寬與能源。

因此，超大容量 DRAM 的真正價值，不只是能夠儲存更多資料，而是讓 CPU 可以直接接觸更多資料，減少依賴速度較慢的 storage tier。

為什麼 AI 伺服器也需要大量 DDR5？

AI 硬體討論裡最常出現的是 HBM，因為 GPU 加速器需要極高的記憶體頻寬。但 HBM 並不能取代整台伺服器的系統 DRAM。

一台 AI server 仍需要大量 CPU-side memory 處理資料預處理、資料庫、embedding、cache、虛擬化、Agent 狀態、模型協調，以及尚未送進 GPU 的資料。

Micron 特別點名大型語言模型、Agentic AI、real-time inference、高核心數 CPU、analytics、simulation 與 in-memory database，都是未來高容量伺服器記憶體的重要應用。

這也反映一個正在出現的問題：CPU 核心數正在快速增加，但如果記憶體容量與頻寬沒有同步成長，再多核心最後也可能只是在等待資料。

Micron 宣稱特定工作負載最高快 1.4 倍

Micron 表示，在受到記憶體容量限制的 Spark Support Vector Machine 資料分析 workload 中，採用 512GB RDIMM 的系統，相較 256GB DDR5 配置最高可達 1.4 倍效能。

但這個數字必須正確解讀。

它並不是代表 512GB RAM 本身比 256GB RAM 快 40%。真正的原因是這類 workload 原本已經受到 memory capacity 限制，更大的 DRAM 容量讓更多資料可以直接留在主記憶體中，因此減少額外的資料搬運與等待。

如果某個程式原本只需要幾十 GB RAM，那麼把記憶體容量從 256GB 升到 512GB，並不會憑空得到 40% 效能。

Micron 也指出，RocksDB 與 Redis 這類高度依賴記憶體的資料庫與 caching workload，可以藉由更大的記憶體容量提高 throughput、concurrency 與可處理的 dataset 大小。

512GB 是怎麼塞進一條 RDIMM 的？

Micron 表示，新模組採用了先進的 vertical interconnect packaging，將多層 DRAM die 垂直堆疊，再使用 Through-Silicon Via，TSV 進行垂直連接。

簡單來說，當單純把更多晶片攤在 PCB 平面上已經越來越困難，工程師就開始往第三個維度發展。

這種思路和 HBM、3D NAND 以及其他先進封裝技術非常接近：不是只讓晶片越做越小，而是把更多元件往垂直方向堆疊，以提高單位面積的密度。

Micron 並沒有公開這款 512GB RDIMM 使用多少顆 DRAM die，因此目前無法從官方資料確認完整的內部堆疊結構。

DDR5-9200 代表什麼？

這款模組最高資料傳輸率達到 9,200 MT/s。

MT/s 是 Mega Transfers per Second，也就是每秒百萬次資料傳輸。9,200 MT/s 代表每秒約可以進行 92 億次資料傳輸。

這裡也要注意，MT/s 並不等於 MHz。DDR 記憶體會在時脈訊號的上升沿與下降沿都傳輸資料，因此有效資料傳輸率會高於實際記憶體時脈。

對大型伺服器而言，容量增加只是第一步。如果數百個 CPU 核心同時存取十幾 TB 的資料，記憶體頻寬不足同樣可能形成新的 bottleneck，因此容量與速度必須一起提高。

AI 資料中心下一個問題：每 TB RAM 到底需要多少瓦？

過去幾年的 AI 基礎建設競賽，大部分注意力都集中在 GPU、HBM 與高速 interconnect。但隨著 AI server 越來越巨大，system memory 本身也開始成為整體架構的重要部分。

當一台伺服器開始擁有數百個 CPU cores、數 TB DRAM，再連接多張 AI accelerator 時，記憶體就不再只是規格表裡的一個容量數字。

它會直接影響：

• 一台伺服器可以處理多少資料
• 一個機櫃可以塞多少計算能力
• 記憶體需要多少電力
• 冷卻系統需要帶走多少熱量
• 工作負載是否必須頻繁讀取 SSD
• 整體 Total Cost of Ownership

所以 Micron 這條 512GB DDR5-9200 真正有意思的地方，不只是那個巨大的 512GB 數字。

它代表伺服器記憶體正在開始追求另一種密度：在相同的插槽、相同的伺服器空間裡，放進更多資料，同時控制每 TB 記憶體需要消耗的瓦數。

而在 AI 資料中心逐漸受到供電與散熱限制的時代，這件事很可能會比單純把 RAM 做得更大更加重要。

Tech English 專有名詞

RDIMM — Registered DIMM／暫存式記憶體模組：主要用於伺服器的記憶體模組，透過 Register 緩衝 CPU memory controller 與 DRAM 之間的控制訊號，使系統能穩定支援更多 DIMM 與更大容量。

MT/s — Mega Transfers per Second／每秒百萬次傳輸：衡量記憶體資料傳輸率的單位。DDR5-9200 代表最高 9,200 MT/s，而不是 9,200 MHz。

TSV — Through-Silicon Via／矽穿孔：穿過矽晶片的垂直導電通道，可以把多層 DRAM die 直接上下連接，是高密度 3D 堆疊的重要技術。

Memory-bound Workload — 記憶體受限工作負載：效能主要受到記憶體容量、頻寬或延遲限制，而不是 CPU 算力不足的工作負載。

In-memory Database — 記憶體內資料庫：主要把資料保存在 DRAM 中，而不是頻繁存取 SSD，以換取更低延遲與更高吞吐量。

TCO — Total Cost of Ownership／總持有成本：除了硬體採購價格，也包含耗電、冷卻、機櫃空間、維護與工作負載執行時間等整體成本。