參數是甚麼：百億到萬億數字真正代表甚麼

資訊科技委員會上，校長指住簡報上的「萬億參數」問：「另一間話七千億，係咪差三成？應該揀大嗰個？」IT 主任想答，卻發現自己只能說「廠商話快啲」——這正是本課要補的一塊：參數量不是分數，而是模型裡有多少個可調的「旋鈕」。

模組一前兩課講生成機制與 token；本課是第四課，回答「那些『知道下一個 token 是甚麼』的本領，究竟存在哪裡」。讀完這課，你應能向校長解釋：為甚麼大參數不一定適合你校，以及校本資料該放在哪裡。

---

二十年科任的改卷手感

想像一位改了二十年中文作文的科任。她未必背得出 DSE 評分準則的原文，但拿起任何一份中三議論文，半分鐘內就知段落是否鬆散、論點是否空泛——這種能力不是因為腦裡存了 PDF，而是無數次改卷累積的規律感。

模型的參數就是這類「手感」的數學版：數以億計的小數字，每一個單獨看毫無意義，合起來決定「見到這串 token，下一個最可能是甚麼」。訓練過程是不斷微調這些數字，直到預測夠準。第 6 課 會講這些旋鈕怎樣被炼出來；這一課只講它們存的是甚麼。

「一百億參數」即一百億個旋鈕。旋鈕多，能容納的規律可更細；但旋鈕設定好不好，仍取決於用甚麼資料、怎樣訓練。

規律壓縮，不是書櫃存檔

這是整課最關鍵的分野。

參數儲存的是從海量文本裡壓縮出來的規律，不是逐條存檔。因此：

• 它知道「議論文常見結構」——規律學得好。
• 它知道「香港中學一般有中一至中六」——夠常見，也變成規律。
• 它記不準「貴校 2018 年校外評核報告第三項建議」——訓練資料幾乎沒出現，壓不進去。

當你問第三類問題，模型通常不會說「我沒有資料」，而會用第一、二類規律砌出看似合理的答案——第 9 課 的幻覺機制由此而來。

參數是改卷手感，不是學校檔案室——校本事實要放在可檢索、可引用的知識庫，而不是期望它「記得」。

小學 IT 主任的盲測

一間小學 IT 主任想在校內伺服器跑模型，讓教師不連外網也能草擬通告。兩個選項：七十億參數（7B），現有獨立顯示卡電腦可跑；或七百億參數（70B），需另購約十萬元設備。

他拿過去一年二十份真實通告，用兩個模型各生成一版，請三位科主任盲評。

7B 在格式與語氣上接近 70B；差距主要在長段邏輯偶爾鬆散，以及冷門教育局政策名稱較易錯。但兩個模型都接上校本文件檢索之後，第二項差距幾乎消失。

結論：先用 7B 加知識庫，把省下的預算投教師培訓。對大部分校本任務，把正確文件放到模型面前，比把模型大三倍更有效——小型語言模型 與 本地部署 會講實作細節。

讀懂型號標籤

• 7B、13B、70B：B = billion（十億）。7B 屬「一張顯示卡可跑」級別；70B 要工作站或多卡。
• MoE（混合專家）：總參數可能上千億，但每次回答只啟用一小部分——像有六十位科任的學校，每題只找兩位相關老師。宣傳常講總參數，實際每次動用的數字小得多。
• 未公開參數的閉源旗艦：市面比較的「參數量」往往是外界估算，不宜當硬指標。

硬件需求還與 量化 有關——同一模型可壓到更小記憶體運行。

容易走歪的地方

• 走歪：採購會只比「參數大細」，不問繁體中文、資料能否留校內、有沒有教師監控。 自查：你的選型表有沒有三欄「中文／ HK 用語」「部署位置」「稽核紀錄」？若只有參數量，表要重寫。

• 走歪：以為日常對話會把校規「寫進」模型。貼過的文件不會永久改變參數。 自查：新對話不帶文件，問一條內部校規。若仍答得像真，你需要知識庫而非更大模型。

• 走歪：70B 跑不動就認定「校本 AI 不可行」，忽略 7B + 量化 + RAG 的组合。 自查：你的任務清單裡，有多少比例是「草擬通告、出題、評語初稿」？若超過七成，7B 通常已夠，剩餘才考慮升級或上雲。

動手做一次

時間：約 12 分鐘。材料：任何 AI 工具。

做甚麼：貼入以下提示：

請憑記憶完整寫出香港中學文憑試中國語文科的評分準則全文，不要概括、不要改寫。
如果你做不到，請改為說明你實際上記得的是哪一類東西、記不住哪一類東西，並各舉一個例子。

交出甚麼：兩段文字——模型對「記得／記不住」的自述（通常會承認只有結構與常見準則，沒有原文）。

怎樣算做對：你能用「改卷手感」向校長或家長解釋：模型記得寫作規律，但不記得你校 2018 年評核報告的第三項——因此校本文件必須進知識庫，而不是靠參數「記住」。

下一課：Embedding、位置編碼與 Self-Attention。上一課：Tokenization。