Chip Insight 資料庫
#Tensor Core
找到 2 篇文章
H100 顯示很忙，LLM 卻可能沒吃滿：研究拆解 Hopper GPU「假性高利用率」
一篇最新研究指出，單看 GPU 的 SM utilization，可能嚴重高估 LLM 推理真正完成的有效運算。研究團隊以 NVIDIA H100 NVL、vLLM、FlashAttention-3 與 cuBLASLt 實測發現，在小批次 decode 階段，Hopper BF16 GMMA 固定 64-row 的矩陣 fragment 可能只有 1.56%～12.5% 填入真實 token 資料。GPU 看起來很忙，部分運算資源卻正在處理 padding、等待記憶體或浪費在不完整的執行波次上。
晶片觀測站·1 個月前
9 min
RTX 3080 成功跑起 DLSS 5，卻只剩 4 FPS：為什麼 AI 算得動，遊戲卻跑不動？
玩家成功將尚未正式推出的 NVIDIA DLSS 5 Neural Rendering 移植到 RTX 30 系列 Ampere 顯示卡，但 RTX 3080 在《Deep Rock Galactic》中啟用後，幀率從超過 130 FPS 暴跌至約 4 FPS，部分 RTX 30 系列甚至只有 1 FPS。問題不只是顯卡算力不足，而可能與 Ampere 缺乏新一代低精度 AI 運算能力有關。
晶片觀測站·1 個月前
8 min