從遊戲顯示卡到私人 AI 工作站

NVIDIA GeForce RTX 50 系列採用 Blackwell 架構，第五代 Tensor Core 支援低精度 AI 運算。這使桌上型電腦除了遊戲與渲染，也能執行聊天、程式輔助、文件問答與部分多模態模型。然而，能不能順暢執行大型語言模型（LLM），首要問題往往不是 GPU 宣傳的 AI TOPS，而是模型權重、KV Cache 與運算暫存能否放進 VRAM。

一、RTX 50 系列的 VRAM 決定了哪些模型比較實際

依 NVIDIA 官方桌上型產品規格，RTX 5090 配備 32GB GDDR7、5080 與 5070 Ti 為 16GB、5070 為 12GB、5060 Ti 有 8GB 與 16GB 版本、5060 與 5050 為 8GB。這是單卡容量，不代表能全部分配給模型。Windows 桌面、瀏覽器、遊戲與 CUDA 工作空間也會占用記憶體。

這是選型建議，不是逐一跑過的 benchmark。20B MoE 的權重容量仍取決於全部參數及量化格式，不能只看每次啟用的參數數量。70B 量化模型通常不適合直接全部放進 32GB VRAM，雖可透過 CPU/RAM 分層卸載執行，但速度與體驗可能大幅下降。

二、哪些開放權重模型值得試？

Qwen3 系列：可從 4B、8B、14B 到 32B 等不同級距挑選。中英混合、程式解說與推理任務值得測試；實際速度依具體版本與量化檔案而異。

DeepSeek-R1 Distill 系列：適合觀察推理型模型的回答過程，常見 7B、8B、14B、32B 等級。須區分蒸餾模型與完整 DeepSeek-R1，兩者硬體需求相差極大。

Meta Llama 系列：擁有廣泛的本地部署工具支援，適合通用聊天與開發；模型授權、版本和可取得的量化格式應個別確認。

Google Gemma 系列：提供不同參數級別的開放權重模型，可作為日常問答、摘要及部分多模態任務的候選。

OpenAI gpt-oss-20b：採用混合專家（MoE）設計，為本地推理與工具使用提供另一條路線。NVIDIA 2025 年 RTX AI Garage 文章已將 gpt-oss 與 Qwen3 列為可在 RTX PC 運行的開放權重模型；但在 16GB GPU 上是否完全駐留 VRAM，必須檢查實際模型封裝、量化與上下文設定。

NVIDIA Nemotron 系列：NVIDIA 自家的開放模型路線，著重推理、代理與高效率部署；不同 Nemotron 版本的大小差異很大，不可把整個系列視為同一硬體需求。

三、Windows 部署：最快的方法是 Ollama

第一步：安裝最新版 NVIDIA 驅動，並從 https://ollama.com 下載 Windows 版 Ollama。開啟 PowerShell，先確認 GPU：

nvidia-smi
ollama --version

第二步：下載並啟動一個入門模型。以下是常見 Ollama 模型標籤示例；執行前應到官方模型庫核對目前可用標籤。

ollama run qwen3:8b

第三步：另開 PowerShell 查看模型是否正在使用 GPU：

ollama ps
nvidia-smi

ollama ps 的 PROCESSOR 欄位可以協助判斷 GPU/CPU 分配；如果大量落到 CPU，應縮小模型、改用較低位元量化或降低上下文長度。

第四步：測試本機 API。Ollama 預設在本機 11434 埠提供服務：

$body = @{ model = 'qwen3:8b'; prompt = '請用繁體中文解釋 CUDA'; stream = $false } | ConvertTo-Json
Invoke-RestMethod -Uri 'http://localhost:11434/api/generate' -Method Post -ContentType 'application/json' -Body $body

若要讓程式編輯器或自己的網站呼叫模型，可在受信任的本機環境整合 API；不要直接把沒有認證與存取控制的推理埠暴露到公網。

四、不想碰指令？LM Studio 更適合圖形介面

LM Studio https://lmstudio.ai 提供模型搜尋、下載、聊天與本機 API Server。安裝後選擇相容的 GGUF 或其他受支援模型格式，檢查 GPU Offload，先用 4K–8K context 測試，再逐步增加。若希望擁有瀏覽器式介面，可搭配 Open WebUI；若要建立文件問答知識庫，AnythingLLM 也是選項。進階開發者則可使用 llama.cpp 直接調整量化、批次大小及 GPU 卸載參數。

五、為什麼 FP4 重要，卻不是魔法？

一般 FP16 權重每個參數約需 2 bytes，理論上 8B 模型僅權重就約 16GB；4-bit 權重每個參數的理論下限約 0.5 bytes，8B 模型約 4GB。實際檔案還會包含量化比例、metadata、未量化張量及額外執行記憶體。以同一模型比較，4-bit 可顯著減少容量，但不同量化格式可能造成品質與速度差異。

Blackwell 的 Tensor Core 支援 FP4，並不代表任何標示 Q4 的 GGUF 檔案都自動使用原生 FP4 Tensor Core 路徑。GGUF 的 Q4_K_M、MXFP4、NVFP4 等格式和核心支援不同，必須由推理後端與 kernel 實際支援才能得到對應加速。

KV Cache 是另一個常被忽略的限制：模型每讀入更多對話、程式碼與文件，就要保存更多注意力相關狀態。因此，短對話能跑，不代表放入整個大型 GitHub 專案後仍能維持相同速度。

六、可以邊玩遊戲邊跑 LLM 嗎？

可以，但前提是兩個程式的 GPU 記憶體需求不會互相擠壓。RTX 5080 16GB 若載入一個佔用十幾 GB 的模型，再開啟 4K 遊戲與光線追蹤，極容易發生 VRAM 壓力、記憶體搬移或效能驟降。RTX 5090 32GB 有較大的空間，但大型模型加上高畫質遊戲仍可能衝突。最簡單的測試是先開模型，再開遊戲，持續觀察 nvidia-smi 的記憶體佔用與實際幀率；不要把可成功載入誤認為能同時流暢運行。

七、相關新聞：NVIDIA 正在把本地 AI 變成 PC 軟體生態

2025 年 1 月，Blackwell RTX 50 系列正式發表。 NVIDIA 宣布第五代 Tensor Core、FP4 及 RTX AI PC 應用方向，並提出 NIM、AI Blueprints、Project R2X 等本地 AI 概念。這意味著 GeForce 不再只是一張遊戲繪圖卡，也被定位成個人 AI 推理平台。

2025 年 10 月，RTX AI Garage 教學推廣本地 LLM。 NVIDIA 介紹 Ollama、LM Studio、AnythingLLM，並指出 gpt-oss 與 Qwen3 等開放權重模型能在 RTX PC 上運行。

2026 年 1 月 CES，開源推理後端持續優化。 NVIDIA 公布 llama.cpp、Ollama 等效能改進；其測試宣稱，特定 MoE 工作負載的 token generation throughput 可分別提升約 35% 與 30%，Blackwell 原生 MXFP4 路徑可使部分 prompt processing 提升最多 25%。這些是特定版本、模型和測試條件下的廠商數字，不應解讀成每張 RTX 50、每個模型都會得到相同比例的加速。

從產業角度看，競爭焦點已不只是 GPU 算力，還包括推理框架、量化格式、工具呼叫、代理工作流程與開發者體驗。當本地模型可透過 API 服務編輯器、文件系統與私人資料庫，PC 便開始具備小型 AI 工作站的性質。

八、選擇建議

8GB 顯卡先從 3B–8B 量化模型開始；12GB 可以嘗試 8B–14B；16GB 適合做本地開發助手；32GB 則可嘗試 20B–32B 級別模型。真正選型時，先確認模型版本、權重授權、量化檔案大小、上下文與預期工作負載，再比較 token/s、首字延遲和回答品質。模型越大不一定越適合自己的工作。

Tech English 技術名詞

• VRAM（顯示記憶體）：GPU 用來存放模型權重、快取與運算資料的高速記憶體。
• Quantization（量化）：以較低位元精度表示模型權重，降低記憶體需求，可能影響品質。
• Inference（推論）：使用已訓練模型生成回答的過程，與訓練不同。
• KV Cache（鍵值快取）：儲存注意力運算所需歷史狀態，通常隨上下文增加而占用更多記憶體。
• GPU Offloading（GPU 卸載）：將部分或全部模型運算交由 GPU，未能放入 GPU 的部分可能由 CPU 處理。
• Mixture of Experts, MoE（混合專家模型）：每次運算選用部分專家網路，但模型整體權重仍須儲存或分層載入。