讀懂 Model Card 與檔案格式

上一課之後，IT 主任真的打開了模型頁，然後在教員室舉起平板：「十四個檔案，Q4_K_M、Q5_K_S、Q8_0，還有一個 safetensors——我應該拖邊個落 Ollama?」

這一課接續 Hugging Face 的「標本櫃」：標籤讀完了，接下來是說明書與包裝箱上的代號。

---

先讀說明書再拆箱

買實驗室投影機，你會先翻保修卡與使用限制，而不是直接插電。公開模型的 Model Card 就是開發者寫給使用者的說明書，通常包含：參數量與架構、訓練資料與語言、預期與不建議用途、限制與偏見、評測成績、授權條款。

五分鐘四步閱讀法

作為教師或科主任，不必逐字讀完。按這個順序看四個地方：

語言與日期

先看語言： 許多 Model Card 老實寫明「主要針對英文，不建議多語言」——對香港學校，一句即可否決。再看資料截止日期： 決定它知否去年的課改與公開試安排，詳見 知識截止日與模型版本。

限制與授權

限制節列出開發者承認的弱點，常是學校會踩的地雷，例如「可能生成看似合理但不準確的內容」。授權則回答：允許機構使用嗎？有沒有學生人數上限？若只有宣傳文字、缺訓練資料與限制聲明，本身已是警號：不宜放進正式流程。

行李限重與 GGUF 代號

現在解決那十四個檔案的問題。

出發前你會看航空公司行李限重：20kg 全票、15kg 經濟、7kg 手提——同一套衣物，裝法不同，能帶上飛機的總量就不同。GGUF 把權重壓縮打包，讓模型在普通電腦或單張顯示卡上運行。同一模型有多個版本，檔名代號代表壓縮程度：

• Q8_0：最接近原版，佔用最多記憶體。
• Q5_K_M：質素與體積平衡。
• Q4_K_M：常用選擇，約原版四分之一，質素損失通常察覺不到。
• Q2_K：能跑但輸出明顯變差，一般不建議。

怎樣對照顯示卡記憶體

一個實用的判斷法：先問你的機器有多少顯示卡記憶體，再選檔案大小略小於它的那個版本。 原版 Safetensors 往往塞不進 16GB 顯示卡，因為對話本身也要佔空間。至於為甚麼壓縮之後還能用，以及壓縮到哪裡開始變笨，是 量化：由 FP16 到 INT4 的內容；實際怎樣在校內運行，見 用 Ollama 與 LM Studio 做本地部署。

GGUF 還把模型設定資料一併打包在同一個檔案裡，像一個「即開即用」的單一封裝，而不是一堆需要正確擺放的零件。

Safetensors 與舊格式的分界

Safetensors 解決安全問題，不是體積問題。

舊格式為何要避

舊式權重檔可在檔案裡夾帶可執行指令——你以為載入數字，可能同時執行了別人寫的程式，對校內伺服器是實質風險。

為何見到 Safetensors 可放心

設計原則：檔案裡只能是數字，不能是指令，像實驗室只接受標示清楚的試劑瓶。載入亦較快；手動下載時見 Safetensors 可安心，見 .bin 或 pickle 則多問來源。

採購時一句「請提供 Model Card」往往比十頁宣傳冊更有用——答不出來，本身就是答案。

小學伺服器的選檔決策

一所小學以 16GB 顯示卡記憶體的伺服器做中文寫作初評。IT 主任先讀 Model Card，確認支援繁體中文、資料截止在近期、授權允許教育機構——兩個強勁候選因 card 自承中文一般而被剔除。原版 Safetensors 約 16GB，塞不進顯示卡（對話亦需空間），改選 Q4_K_M GGUF 約 4.9GB，可同時服務數位教師。二十份去識別化舊作文經三位中文教師盲評：可用於初評，仍須教師覆核——與平台 AI 評卷設定一致。全程無須寫程式。

容易走歪的地方

• 錯法：見到 Q2 就選最細，以為慳記憶體最聰明。 壓得太狠，課堂回饋會出現明顯錯誤。自查：你有沒有用同一條提示比較 Q4 與 Q2?
• 錯法：供應商說「本地部署」卻不提供 Model Card。 空話與實務的分界就在這裡。自查：對方能否貼出官方頁面連結？
• 錯法：把 Model Card 的限制當「客套話」。 「可能生成看似合理但不準確的內容」應原封不動寫進教師守則，因為它正是覆核制度的理據。詳見 幻覺與偏見從何而來。

動手做一次

時間： 約 12 分鐘。材料： 若學校已有本地模型，需有高、低壓縮兩個版本；若沒有，可在 Hugging Face 讀任意一個 8B 模型的 Model Card 完成前半。

做甚麼： 若可跑模型，把同一段內容分別餵給高壓縮與低壓縮版本，貼入：

請把以下三句學生答案分成「正確」、「部分正確」、「錯誤」三類，並各用一句話說明理由。
只可以根據我提供的句子判斷，不要補充課本以外的資訊。
1. 香港的水主要來自東江。
2. 香港所有的水都是自己收集的雨水。
3. 香港有部分用水來自本地水塘。

若只能讀 Model Card，則找「語言」「限制」「授權」三節，各抄一句最能代表該模型的句子。

交出甚麼： 三行筆記：(1) 低壓縮是否比高壓縮穩定（或 Model Card 是否明寫中文支援）;(2) 限制節有沒有一句你會寫進教師守則；(3) 若部署，你會選 Q4 還是 Q8，理由一句。

怎樣算做對： 你能說出「壓縮代價」或「說明書缺項即警號」，並在採購會上提出「請提供 Model Card」這條問題。

繼續閱讀：小型語言模型的崛起。上一課：Hugging Face:AI 界的 GitHub。想理解參數量代表甚麼，見 參數到底存了甚麼。