研究揭露 NVIDIA Blackwell Warp Divergence 新機制：效能成本未變，控制流程架構持續演進

【晶片觀測站報導】Warp Divergence 一直是 CUDA 與 GPU 平行運算中最重要的效能議題之一。當同一個 Warp（32 個 Thread）因條件判斷而走向不同程式路徑時，GPU 必須依序執行各條路徑，使部分執行單元閒置，降低 SIMD 利用率。

近期一篇發表於 arXiv 的研究《Characterizing Warp Divergence from Pascal to Blackwell》，首次橫跨 NVIDIA Pascal（GTX 1080）、Ampere（RTX 3090、RTX A6000）、Hopper（H100）以及兩款 Blackwell GPU（Jetson AGX Thor、RTX 5080）進行完整比較，希望回答一個問題：自 Volta 推出 Independent Thread Scheduling（ITS）後，Warp Divergence 是否已經有了新的執行方式？

研究團隊利用 cycle-accurate microbenchmark、Nsight Compute 硬體效能計數器，以及 SASS 指令靜態分析三種方法交叉驗證控制流程行為，將動態執行成本與編譯器產生的控制流程機制分開分析。

研究結果顯示，Warp Divergence 的成本幾乎沒有隨 GPU 世代改變。無論是 Ampere、Hopper 或 Blackwell，只要一個 Warp 分裂成 k 條執行路徑，執行時間便幾乎完全符合 T(k)≈s×k 的線性關係，沒有出現額外 Reconvergence 開銷。即使回到未導入 Independent Thread Scheduling 的 Pascal GPU，也觀察到相同的線性序列化現象，代表這種成本來自 SIMT 執行模型本身，而非 ITS。

研究同時透過硬體計數器驗證 Warp Execution Efficiency，發現有效執行 Thread 數量幾乎完全符合 32/k 的理論值。例如二路分岐約為 16 個 Active Threads、四路分岐約為 8 個、32 路完全分裂時僅剩約 1 個 Active Thread，且不同 GPU 世代幾乎沒有差異。

另一項重要發現是，增加 GPU Occupancy 並無法降低 Warp Divergence 帶來的效能損失。研究指出，Divergence 增加的是 Warp 必須發出的 Instruction 數量，而 Occupancy 能隱藏的是記憶體等待延遲，因此即使增加 Resident Warps，約 30 倍的 Divergence Penalty 幾乎維持不變。研究認為，改善 Branch 結構、使用 Predication 或重新安排資料布局，仍是降低 Divergence 的主要方法。

雖然動態效能模型保持一致，但 Blackwell 在控制流程 ISA 上則出現相當大的演進。研究指出，Pascal 使用傳統 SSY/SYNC 指令堆疊完成 Reconvergence；Ampere 與 Hopper 改採 BSSY/BSYNC Barrier Register；到了 Blackwell，更首次出現兩種不同等級的 Barrier，包括 .RECONVERGENT 與 .RELIABLE，形成雙層 Reconvergence Barrier 機制。

研究團隊甚至直接修改 Blackwell 編譯後的 SASS Binary，透過 Bit Flip 測試 .RELIABLE 欄位是否影響執行結果。實驗發現，即使修改 Barrier Class，Kernel 的輸出、Forward Progress、執行時間與 Warp Synchronization 行為均沒有明顯改變，因此推測該欄位主要屬於編譯器與 ISA 的靜態分類資訊，而非執行期間真正控制 Reconvergence 的硬體開關。

此外，Blackwell 還新增 BRA.U（Uniform Branch）指令，可供編譯器標示已證明不會產生 Warp Divergence 的分支，同時加入 WARPSYNC 指令，讓部分 Active Mask 的 Warp Synchronization 成為顯式 ISA 指令，而非像 Ampere、Hopper 般隱含於 Shuffle 指令之中。

靜態分析亦發現，Blackwell 將大量 Reconvergence 點移回 Immediate Post-Dominator（IPDom），需要延後 Reconvergence 的情況由 Ampere 的 29 個案例降至僅剩 2 個案例，代表 NVIDIA 正逐步簡化 Reconvergence 流程，並透過新的 Barrier 機制管理複雜控制流程。

研究最後認為，對 CUDA 開發者而言，Warp Divergence 的效能模型可以視為從 Pascal 一直到 Blackwell 都維持一致，分析工具與效能模型仍可沿用既有假設。然而，對於 Binary Analysis、SASS Reverse Engineering、Compiler 與 GPU Architecture 研究而言，Blackwell 已新增多項控制流程 ISA 特性，代表 NVIDIA 仍持續演化 GPU 控制流程設計，而非停留在 Volta 時代的 Independent Thread Scheduling 架構。