#Speculative Decoding

NVIDIA 推出 Nemotron 3.5 Lightning：30B MoE 僅啟用 3B 參數，瞄準長時間 AI Agent 執行層

NVIDIA 發表開放式 AI 模型 Nemotron 3.5 Lightning，採用 300 億參數的混合專家（MoE）架構，但每次推論僅啟用約 30 億參數，主攻長時間運作 AI Agent 中大量、重複且對延遲敏感的工具呼叫、結果驗證與子代理協作工作。NVIDIA 同時推出 NeMo Switchyard 模型路由框架，試圖建立「大型推理模型負責規劃、小型高效率模型負責執行」的多模型 Agent 架構。官方數據顯示，Nemotron 3.5 Lightning 在 PinchBench 達到 86% 準確率，並在相近準確率下完成 1 萬項任務的時間較 Qwen3.6 35B 快約 30%。