Chip Insight 資料庫
#H100
找到 2 篇文章
把 10 萬張 H100 藏進海底可行嗎？研究拆解「暗算力」與 AI 海底資料中心
一篇最新 arXiv 研究提出一個近乎科幻、卻可以用現有工程技術認真討論的問題：如果未來國際協議限制大型 AI 訓練，一個國家能否把 10 萬張 H100 等級 GPU 沉到海底，建立難以被查核的「暗算力」？研究發現，150 至 200 MW 的供電與海水散熱反而不是最大障礙，真正棘手的是高密度網路互連、InfiniBand 維修、硬體更新，以及無法讓工程師隨時進場。更意外的是，已經沉到海床上的資料中心可能不容易從衛星直接看到，但建造它所需的壓力容器、海底電纜、鋪纜船與維護作業，反而可能成為最明顯的情報足跡。
晶片觀測站·1 個月前
12 min
H100 顯示很忙，LLM 卻可能沒吃滿：研究拆解 Hopper GPU「假性高利用率」
一篇最新研究指出，單看 GPU 的 SM utilization，可能嚴重高估 LLM 推理真正完成的有效運算。研究團隊以 NVIDIA H100 NVL、vLLM、FlashAttention-3 與 cuBLASLt 實測發現，在小批次 decode 階段，Hopper BF16 GMMA 固定 64-row 的矩陣 fragment 可能只有 1.56%～12.5% 填入真實 token 資料。GPU 看起來很忙，部分運算資源卻正在處理 padding、等待記憶體或浪費在不完整的執行波次上。
晶片觀測站·1 個月前
9 min