Chip Insight 資料庫

#Mixture of Experts

找到 1 篇文章

NVIDIA 推出 Nemotron 3.5 Lightning:30B MoE 僅啟用 3B 參數,瞄準長時間 AI Agent 執行層

NVIDIA 發表開放式 AI 模型 Nemotron 3.5 Lightning,採用 300 億參數的混合專家(MoE)架構,但每次推論僅啟用約 30 億參數,主攻長時間運作 AI Agent 中大量、重複且對延遲敏感的工具呼叫、結果驗證與子代理協作工作。NVIDIA 同時推出 NeMo Switchyard 模型路由框架,試圖建立「大型推理模型負責規劃、小型高效率模型負責執行」的多模型 Agent 架構。官方數據顯示,Nemotron 3.5 Lightning 在 PinchBench 達到 86% 準確率,並在相近準確率下完成 1 萬項任務的時間較 Qwen3.6 35B 快約 30%。

晶片觀測站·1 個月前
7 min