模型量化實務：FP16、INT8、INT4 換來甚麼、失去甚麼

新學年設備報價會，一所小學資訊科技主任舉起兩張單：同一個開源 70 億模型，A 方案要專業加速卡連機六位數；B 方案寫「4-bit 量化 + 消費級顯卡」，價錢差近 9 倍。他問：「係咪同一個腦？」供應商答：「係，但數字儲得冇咁精。」

這是模組五第二課，承接 QLoRA 裡的「Q」。上一課談怎樣只改薄層微調；本課談怎樣把整顆模型用較粗刻度裝載，讓它在普通硬件上跑得起——以及哪些校本任務不該交給最細的版本。

---

混音台上的精度刻度

錄音室混音時，推桿可以停在任意小數位置；匯出給全校廣播時，常會轉成檔位較少的預設——檔案細了、播放仍夠清晰，但若你要聽清第 17 小節某根弦的細微差別，粗檔位會聽不出來。

模型裡有數十億個參數（見 第 4 課）。量化就是把每個數字從細刻度改存到粗刻度：

• FP16：原精度，最完整，最佔 VRAM；
• INT8：約一半體積，像高品質廣播檔，日常任務往往無感；
• INT4：約四分之一，再壓一檔，跑得快、佔位少，邊緣判斷較易出錯。

70 億參數模型 FP16 常需十數 GB VRAM；4-bit 可能 6–10 GB 就推得動——這就是兩份報價差 9 倍的原因。

甚麼先失真

損失不會平均分佈。最先出問題的通常是：

• 長篇多步推理（小誤差逐步放大）；
• 精確算術與步驟驗算；
• 罕見詞與少數語言。

改寫信、潤飾句子、出概念題，則往往仍可用。

量化不是免費午餐，是明碼交易：用一部分準確度，換硬件成本與斷網仍可用。

按任務分流

同一間小學後來用 36 條 校本題目盲測（常識解釋 12、中文評語 12、數學文字題 6、通告草稿 6），兩位教師只答「可直接用／要小改／要大改」：

• 概念與通告：三檔量化差異不大；
• 中文評語：INT4 開始出現用詞重複；
• 數學分步：INT4 有 2/6 題中間步驟算錯，語氣仍很肯定。

結論：校內量化模型負責文字類；數學與計分相關走雲端或未壓縮模型——按任務分配，不是全校一刀切。

記憶體粗算

粗算公式：體積(GB) ≈ 參數量（十億） × 每參位元組數 + 3–5 成給上下文。4-bit 約 0.5 位元組／參，70 億 ≈ 3.5 GB 權重，加預留約 5–6 GB 起；上下文愈長，VRAM 升得比預期快。

Ollama 裡怎樣選檔

學校常用 Ollama，量化寫在模型標籤裡：

ollama list
ollama pull qwen2.5:7b-instruct-q4_K_M
ollama pull qwen2.5:7b-instruct-q8_0
ollama run qwen2.5:7b-instruct-q4_K_M

q4 / q8 是位數；K_M 等後綴是不同壓縮策略，K_M 常為體積與品質平衡點。檔案多為 GGUF，見 第 12 課。

Edor.ai 混合部署

校內部署支援 INT8 / INT4 本地推論：單張消費級顯示卡伺服器即可服務全校，外網中斷仍可用，資料不離校網。

平台可按模組切換 OpenAI、Azure OpenAI、Anthropic、Poe、本地 Ollama——低風險日常走量化校內，評卷與長篇推理走雲端。完整比較見 本地 vs 雲端 與 開源 vs 閉源權衡。

每次換量化等級，請用固定校本題集重跑並記入教學評估紀錄（亦可作撥款佐證）。

容易走歪的地方

• 錯法：全校統一用最細 INT4 省卡錢。自查：用 36 條混合題型盲測；若數學／推理出現「要大改」，應分流而非硬壓。
• 錯法：只看宣傳 MMLU 分數，不用本校題目。自查：至少準備 20 條真實課堂會用的問題重測。
• 錯法：量化模型用於直接影響成績的輸出且無教師覆核。自查：計分相關任務必須保留覆核或未壓縮／雲端模型。

動手做一次

時間：約 12 分鐘。材料：Ollama 或任何可切換模型的工具；若無本地環境，可對同一雲端模型試兩次不同長度提示觀察差異。

1. 準備 同一條 數學文字題（含要求「逐步列算式」）。
2. 分別用 8-bit 與 4-bit（或較長 vs 極短上下文）各跑一次。
3. 交出：兩次完整輸出 + 標註「哪一步開始不可信」+ 一句分流建議（例如：「4-bit 可負責通告草稿，數學走雲端」）。

做對了：能指出具體出錯步驟而非籠統說「變笨」。下一課真正跑起來：Ollama 與 LM Studio。上一課：LoRA 與 QLoRA。