看懂 Model Card、GGUF 與 Safetensors

一位 IT 主任在上一課之後真的去逛了模型頁,然後傳來一張截圖:「這裡有十四個檔案,名字叫 Q4_K_M、Q5_K_S、Q8_0,還有一個 safetensors。我完全看不懂,你可不可以告訴我下載哪一個?」

這一課就是為這條問題而寫。好消息是,你只需要理解三個概念。

Model Card 就是營養標籤

買一盒餅乾,包裝背面有一張標籤:成分、每份熱量、致敏原提示、建議食用對象。你不需要懂食品化學,也能靠這張標籤判斷這盒餅乾能不能給對堅果過敏的學生吃。

每一個公開模型都應該有這樣一張標籤,叫做 Model Card。它是模型資料夾裡的一份說明文件,由開發者撰寫,通常包含:

• 模型是甚麼:多少參數、哪一種架構、支援多長的上下文。
• 訓練資料:用甚麼材料學的、涵蓋哪些語言、資料截止在甚麼時候。
• 預期用途與不建議用途:開發者明確表態這個模型設計來做甚麼、不適合做甚麼。
• 限制與偏見:已知會出錯的場景、對哪些群體可能有偏差。
• 評測成績:在標準測試上的分數。
• 授權:能否商用、有沒有使用者規模上限。

讀 Model Card 的四個動作

作為教師或科主任,你不需要逐字讀完。按這個順序看四個地方,五分鐘可以完成:

1. 先看語言。 很多優秀模型在自己的 Model Card 上老實寫明「主要針對英文,不建議用於多語言場景」。對香港學校來說,這一句就足以否決一個選項。
2. 再看資料截止日期。 這決定它知不知道去年的課程改革與最新的公開試安排。詳見 知識截止日與模型版本。
3. 然後看限制那一節。 開發者自己承認的弱點,通常正是學校會踩中的地雷,例如「可能生成看似合理但不準確的內容」。
4. 最後看授權。 允許機構使用嗎?有沒有學生人數或使用者上限?

如果一份 Model Card 只有一段宣傳文字、沒有訓練資料描述、沒有限制聲明,那本身就是最重要的資訊:這個模型不適合放進學校的正式流程。

GGUF 就像壓縮影片格式

現在解決那十四個檔案的問題。

想像你拍了一段兩小時的課堂錄影,原檔案 80GB。要放上校網給家長看,你會壓縮它:1080p 版本 4GB、720p 版本 1.5GB、480p 版本 600MB。內容一樣,細節有損,但普通手機能順暢播放。

GGUF 就是模型版本的這件事。它是一種把模型權重壓縮並打包的檔案格式,設計目的是讓模型能在普通電腦或單張顯示卡上運行。同一個模型會有多個 GGUF 版本,檔名裡的代號就是壓縮程度:

• Q8_0:壓得少,最接近原版,佔用最多記憶體。
• Q5_K_M:中間選擇,質素與體積平衡得不錯。
• Q4_K_M:目前最常用的實務選擇,體積約為原版四分之一,質素損失通常察覺不到。
• Q2_K:壓得很細,能跑但輸出明顯變差,一般不建議。

一個實用的判斷法:先問你的機器有多少顯示卡記憶體,再選檔案大小略小於它的那個版本。 至於為甚麼壓縮之後還能用,以及壓縮到哪裡開始變笨,是 量化:由 FP16 到 INT4 的內容;實際怎樣在校內運行,見 用 Ollama 與 LM Studio 做本地部署。

還有一點值得知道:GGUF 除了權重之外,還把模型的設定資料一併打包在同一個檔案裡,所以它像一個「即開即用」的單一封裝,而不是一堆需要正確擺放的零件。

Safetensors 就像不會夾帶東西的信封

另一種常見格式叫 Safetensors,它解決的是安全問題,不是體積問題。

過去存放模型權重的舊格式,技術上可以在檔案裡夾帶可執行的指令。也就是說,你以為只是載入一堆數字,實際上可能同時執行了別人寫的程式。這對學校伺服器是實實在在的風險。

Safetensors 的設計原則很簡單:檔案裡只能是數字,不能是指令。 就像一個透明信封,你一看就知道裡面只有紙,不可能藏別的東西。它同時載入得更快。目前它是主流建議格式,學校若要手動下載權重,見到 Safetensors 應該安心,見到舊式的 .bin 或 pickle 格式則應該多問一句來源。

一個課室裡的例子

一所小學獲得撥款,買了一台配單張消費級顯示卡(16GB 顯示卡記憶體)的伺服器,打算在校內運行中文寫作回饋。IT 主任這樣決定:

先在模型頁讀 Model Card,確認該模型的 Model Card 明寫支援繁體中文、資料截止在近期、授權允許教育機構使用。這一步排除了兩個原本看起來很強的候選,因為它們的 Model Card 自己承認中文表現一般。

然後看檔案清單。原版 Safetensors 檔案 16GB,剛好塞不進 16GB 顯示卡(還要留空間給對話內容),於是選 Q4_K_M 的 GGUF 版本,約 4.9GB。剩下的記憶體足夠同時處理幾位教師的請求。

最後測試:用二十份去識別化的舊作文跑一次,由三位中文科教師盲評 AI 回饋。結論是可以用於初評,但仍需教師覆核——這也是我們在平台裡對 AI 評卷一貫的設定。

整個決策過程沒有寫一行程式,靠的只是讀懂一張標籤與一組檔名。

這對你的課堂意味甚麼

1. 你可以在採購前提出對的問題。 「請提供你們使用的模型的 Model Card」是一條完全合理、而且很有效的問題。對方答不出來,本身就是答案。
2. 「本地部署」不是含糊的承諾。 當供應商說可以在校內運行,你可以追問用哪個量化版本、需要多少顯示卡記憶體。這兩條問題就把空話與實務分開了。
3. 模型的限制要寫進教師指引。 Model Card 上「可能生成看似合理但不準確的內容」這一句,應該原封不動出現在給教師的使用守則裡,因為它正是覆核制度的理據。詳見 幻覺與偏見從何而來。
4. 不要為了省記憶體壓得太狠。 壓縮到 Q2 級別的模型在示範時可能還可以,但用來給學生回饋會出現明顯錯誤。寧願選小一點的模型配較高質素的壓縮。

一個可以立即試的小練習

如果學校已有本地模型,把同一段內容分別餵給高壓縮與低壓縮版本,用這個提示比較:

請把以下三句學生答案分成「正確」、「部分正確」、「錯誤」三類,並各用一句話說明理由。
只可以根據我提供的句子判斷,不要補充課本以外的資訊。
1. 香港的水主要來自東江。
2. 香港所有的水都是自己收集的雨水。
3. 香港有部分用水來自本地水塘。

低壓縮版本會穩定給出三個正確分類;壓得太狠的版本常會把第三句誤判,或把理由寫得含糊。這是最直觀的「壓縮代價」示範。

接下來

知道怎樣讀懂一個模型之後,下一個問題是:小模型到底夠不夠用?這是 小型語言模型的崛起 的主題。想回顧模型頁怎樣找,回到 Hugging Face:AI 界的 GitHub;想理解參數量代表甚麼,見 參數到底存了甚麼。