預訓練：自監督學習與資料清洗

小息時間，小學常識科任在茶水間跟 IT 支援同事說：「AI 識咁多嘢，係咪有人一課一課教佢？」對方答：「如果真要咁教，幾百萬人教幾百年都教唔完——佢係自己玩猜歌學嘅。」這句話指向本課：模組二（訓練三階段）的第一站，上一課剛看完模型內部的零件怎樣讀句。

預訓練的本質是：把海量文字遮住一部分，叫模型猜被遮住的是甚麼，猜錯就微調 第 4 課 講的那些參數，重複幾萬億次。沒有人逐條教它；它是自己從資料裡「對答案」學會的。模型的根本任務由頭到尾都是猜下一個字——不是被訓練成說真話，也不是被訓練成幫到你；那兩件事是 第 7 課 與 第 8 課 才加上去的。

---

猜歌填詞

想像卡拉 OK 螢幕上歌詞每隔幾個字就變成空白，你要填回去。填錯了，系統輕微調整你的「判斷習慣」；填對了，就強化。然後換下一首、再遮另一個字。

重複幾萬億次。

這就是自監督學習。關鍵在於：答案本來就在資料裡面，不需要人手標註。 如果每一題都要人寫標準答案，成本會高到不可能——這是整件事能夠做到這種規模的唯一原因。

每一次調整，動到的就是參數；幾萬億次之後，參數裡壓縮了語言、常見事實與推理的規律。學生問「佢點知咁多嘢」，準確答法不是「有人教」，而是「佢讀過的量遠超過任何人一生能讀完，而且每一頁都在做猜歌」。

校刊編輯審稿

既然模型是靠「讀」自學，送進訓練的文本就決定了它學到甚麼——跟校刊編輯室審學生投稿一樣：收甚麼稿，校刊就呈現甚麼面貌。

編輯要做的事

網上原始文字混雜百科、論文、新聞，也有大量重複廣告、機器翻譯劣文、仇恨言論與個人資料。編輯式清洗包括：去重（同一篇轉發一萬次不能全收）、過濾質素、移除有害內容、處理個人資料、調整語言與領域配比（要中文好，中文就要夠多夠好）。工程量極大，外界難核實——Model Card 那一課 是少數可查訓練資料說明的地方。

兩顆定時炸彈

資料裡有的偏見會被學進去；資料裡沒有的東西，模型會自己編。這兩件事留給 第 9 課。

模型預訓練時沒有見過你的學校——這是結構性的，不是可以靠問得更好來解決的。

規模與校本取捨

前沿模型預訓練需數以千計高階顯示卡運轉數星期至數月，電費與硬件以千萬至億元計，資料以萬億 token 計（第 3 課）——遠超人類一生能讀完的量。

沒有任何一間學校應該考慮自行預訓練模型。 學校真正需要的，由便宜到貴依次是：

1. 改寫提示（免費，見 提示工程）。
2. 建立校本知識庫（中等成本，見 RAG）。
3. 在既有模型上做輕量微調（較高成本，見 LoRA 與 QLoRA）。

九成以上的校本需求，在第一與第二項就解決了。

中文科主任的三層補救

一間中學中文科主任發現，AI 寫的範文通順，但用詞偶爾偏向台灣或內地——「影片」變「視頻」、「硬碟」變「硬盤」、「小五」變「五年級」。她改了幾次提示仍然出現。

原因在預訓練資料：繁體中文網上總量遠少於簡體與英文，香港用語又只是其中一小部分。模型學到的「中文的樣子」，自然偏向資料量最大的那一種。

她分三層補救，全部改變送給模型的東西：提示模板加用語規範與十組對照詞；五年優秀範文放進知識庫；對照詞表收進共同備課檔案。

容易走歪的地方

• 錯法：以為上載教材到平台就等於「訓練了模型」。自查：知識庫文件只供檢索引用，不改參數；要確認的是合約與部署方式會否保留對話作供應商訓練用途。
• 錯法：用總體跑分選模型，不拿自己的工作紙實測。自查：拿三份你自己的教材試寫，十五分鐘就能看出香港用語是否貼地。
• 錯法：向同事解釋 AI 出錯時，說「它資料不夠新」。自查：很多校本錯誤是因為資料裡根本沒有你的學校，不是因為日期舊——應從「它只被訓練成接得順」說起。

動手做一次

時間：約 12 分鐘。材料：任何可對話的 AI 工具。

1. 貼入以下指令，要求用繁體中文回答：

   請用三句話介紹學校如何用投影機播放教學影片。每句後面用括號列出你考慮過但沒採用的其他寫法。
   然後用兩句話說：寫繁體中文時，你最常不小心混用哪一地的詞彙？為甚麼？
   

2. 把 AI 列出的「混用詞」跟你的科組對照表比一比（若沒有對照表，現場寫五組：香港用法 vs 內地／台灣用法）。
3. 交出：AI 的三句話 + 它承認的混用傾向 + 你自己的一句結論：「這個現象跟預訓練資料的哪個特性有關？」

做對了：AI 多半會提到繁體中文訓練量相對較少，或港台用語在資料中佔比低——這正是預訓練資料配比的直接證據。下一課把「會接句子」的模型變成「會答問題」的助手：微調與 SFT。上一課：Embedding 與 Self-Attention。