GLM-4.7-Flash 解析：智譜 30B MoE 模型的基準測試、本地部署與免費 API

GLM-4.7-Flash 是智譜 AI（Z.ai）推出的開放權重模型，鎖定「30B 級」定位：大到足以處理實際的程式設計與代理任務，又小到能部署在單台高階工作站上。它是混合專家（MoE）模型，總參數約 300 億，每個 token 啟用約 30 億，採 MIT 授權。本文整理模型概況、官方公布的基準測試、本地與 API 使用方式，以及採用前需要注意的事項。

模型概況

官方模型卡稱它為「30B-A3B MoE 模型」，並定位為同級最強、兼顧效能與效率的輕量部署選擇。它是 Z.ai 旗艦模型 GLM-4.7 的小型版本，旗艦模型介紹見 GLM-4.7 技術部落格。

MoE 的意義

MoE 模型會由路由器把每個 token 分配給少數「專家」。每個 token 只啟用約 3B 參數，運算量接近 3B 稠密模型，而完整的 30B 參數提供更大的知識容量。代價是記憶體：所有權重仍須載入，所以顯存或記憶體需求取決於總參數量，而不是啟用參數量。量化版本可以降低需求，但會犧牲部分品質。

官方基準測試

Z.ai 在模型卡中把 GLM-4.7-Flash 與兩款同級開源模型比較：

基準	GLM-4.7-Flash	Qwen3-30B-A3B-Thinking-2507	GPT-OSS-20B
AIME 25	91.6	85.0	91.7
GPQA	75.2	73.4	71.5
LiveCodeBench v6	64.0	66.0	61.0
HLE	14.4	9.8	10.9
SWE-bench Verified	59.2	22.0	34.0
τ²-Bench	79.5	49.0	47.7
BrowseComp	42.8	2.29	28.3

有兩點值得注意。第一，差距最大的是代理型基準（SWE-bench Verified、τ²-Bench、BrowseComp），這些測的是多步驟工具使用，而非單題作答。第二，在純推理與程式題（AIME 25、LiveCodeBench）上，三者相當接近，GLM-4.7-Flash 並非每項都領先。

這些都是廠商自行公布的數字。模型卡列出了評測設定，例如多數任務使用 temperature 1.0、top-p 0.95，多輪代理任務開啟「Preserved Thinking」模式；τ²-Bench 則額外加入提示與領域修正。在你自己的測試環境中結果可能不同，表格只宜作為參考起點。

本地部署

模型卡列出 vLLM、SGLang 與 Hugging Face transformers 三種方式。撰文時，vLLM 與 SGLang 需使用主分支或 nightly 版本才支援。

依模型卡的 vLLM 安裝方式：

pip install -U vllm --pre --index-url https://pypi.org/simple \
  --extra-index-url https://wheels.vllm.ai/nightly
pip install git+https://github.com/huggingface/transformers.git

vllm serve zai-org/GLM-4.7-Flash --tensor-parallel-size 1

快速實驗也可以直接用 transformers 的 AutoModelForCausalLM 載入 zai-org/GLM-4.7-Flash。社群另外提供了可用於 Ollama、LM Studio 等 llama.cpp 系工具的 GGUF 量化版本，但這些不是官方發布，使用前請確認發布者與量化等級。

硬體考量

30B 權重若以全精度載入，遠超一般 24 GB 消費級顯示卡的容量，因此單卡本地使用通常要搭配量化版。長上下文還會在權重之外增加 KV 快取的記憶體用量；如果要處理長文件，請以實際需要的上下文長度測試記憶體。

透過 API 使用

如果本地硬體不足，可以使用 Z.ai 的 API。其價格頁面列出 GLM-4.7-Flash 的輸入、快取輸入與輸出皆免費；速度更快的 GLM-4.7-FlashX 則為每百萬輸入 token 0.07 美元、每百萬輸出 token 0.40 美元。免費使用受帳號的速率與並發限制。API 介面與 OpenAI 風格相容，多數現有工具只需更換 base URL 與模型名稱即可接入。

適用場景

• 本地程式助理與代理：SWE-bench 與 τ²-Bench 的成績顯示其工具使用能力優於同級模型。
• 成本敏感的流程：先用免費 API 做原型，用量變大後再改為自行部署。
• 重視隱私的工作：資料必須留在自有硬體上時。

與其他模型比較

• Qwen3-30B-A3B：同為 30B/3B 的 MoE 結構，生態系龐大；在上表的 LiveCodeBench 略勝。
• GPT-OSS-20B：OpenAI 的開放權重模型，體積更小，AIME 25 成績相當，但代理型基準落後。
• 更大的模型：例如完整版 GLM-4.7 在困難任務上仍更強；Flash 是以部分能力換取部署便利。

選擇建議

• 先用免費 API 驗證：把你的實際任務（例如修 bug、寫測試、整理文件）丟給 API 測一輪，確認品質符合需求後，再決定是否投入硬體自行部署。
• 自行部署時從量化版開始：先用 4-bit 或 8-bit 量化版本確認流程可行，再視記憶體與品質需求調整。
• 代理任務要搭配權限控管：讓模型執行指令或修改檔案時，保留人工確認與版本控制，方便回復。
• 保留替換彈性：透過 OpenAI 相容介面接入，日後要改用其他模型時只需更換設定。

限制

• 基準測試為廠商自報，部分使用了自訂提示或修正。
• 早期推理框架支援仰賴開發分支，可能變動。
• 社群量化版本品質不一。
• 和所有大型語言模型一樣，它可能產生錯誤的程式碼，生成結果務必審查與測試。

參考資料

• GLM-4.7-Flash 模型卡（Hugging Face）
• GLM-4.7 技術部落格（Z.ai）
• Z.ai API 價格
• GLM-4.5 技術報告（arXiv 2508.06471）