微調：SFT 與指令跟隨能力從何而來

2022 年，一位教了十幾年資訊科技的科任第一次用當時的語言模型。他輸入「請解釋光合作用」，期待一段解釋，結果模型續寫：「請解釋呼吸作用。請解釋蒸騰作用……」他在教員室說：「佢當我出卷。」——這個反應，正好說明本課在模組二的位置：預訓練教會「語言長甚麼樣」，微調才教「被問到時應該做甚麼」。

第 6 課 說過，預訓練的唯一任務是猜下一個字。在網上文字裡，「請解釋光合作用」後面最常出現的，確實是另一條題目，不是答案。模型不是不懂解釋，而是不知道你想要解釋。SFT（監督式微調）把這個缺口補上。

---

讀過每一期，未主持過一次

預訓練後的模型，像一位把歷年電台清談節目逐字稿都讀過的人：文筆好、見識廣、口頭禪也熟，但從未拿過咪高峰。你對他說「接聽這通聽眾電話」，他可能開始背誦某期節目的開場白，而不是回應來電者。

學校怎樣把這樣的人變成主持？不是再給他十本書，而是播放幾百段示範接聽：聽眾問甚麼、主持怎樣追問、怎樣在三十秒內把重點講清楚、遇到投訴怎樣先確認再回應。他聽夠示範，就養成「聽到這類輸入，就這樣輸出」的習慣。

這就是監督式微調（supervised fine-tuning，SFT）。

示範對答長甚麼樣

具體做法是準備大量「示範對答」——一條指令，加一個由人撰寫的理想回應：

• 指令：「用三句話向小學生解釋光合作用。」回應：真的三句、真的適合小學生。
• 指令：「把這封信改得正式一點。」回應：真的改寫過的信。
• 指令：「你叫甚麼名字？」回應：符合產品定位的自我介紹。

訓練沿用 第 6 課 的機制，但這次遮住的是「理想回應」。模型猜錯就調參數，幾十萬次後養成「見到指令就執行指令」的習慣——這就是你在 2023 年後感受到的「它終於會答問題了」。

量少質高

預訓練用萬億 token；SFT 通常只有幾萬到幾十萬條示範，差幾個數量級。但每一條都是人手撰寫或審核，成本極高。

原因直接：這一步學的是習慣，少量壞示範就能帶偏。示範裡有一成回應敷衍或格式不一致，模型就學到「有時可以敷衍」——跟帶新主持一樣，偷懶示範幾次，徒弟就記住。

改行為，不改知識

很多科主任的第一個念頭：「把全校課程文件拿去微調，AI 就認識我們學校。」通常行不通。微調時模型見到那些文件，學到的是「這類文件寫成甚麼樣」，不是「第三頁寫了甚麼」。

校本事實仍要靠 校本知識庫——可引用、可更新、文件改版即生效。微調過的模型要改事實，得重新訓練。

微調教它怎樣講，知識庫給它講甚麼——這句話值得貼在科務會議白板旁。

家長通告的八成與兩成

一間中學想讓 AI 草擬的家長通告符合校本格式：固定抬頭、段落次序、慣用敬語、回條格式。試了兩個月提示模板，可用但參差——每位同事寫的提示不同，模板已長到兩百多字，新同事不願用。

第一步，窮盡提示：模板收進共用檔案、一人維護、「必須包含」做成清單。八成問題解決，成本零。

第二步，微調剩餘兩成：在內部部署模型上，用過去三年兩百份真實通告做輕量微調。之後即使只寫「幫我寫一封關於下星期五旅行改期的家長通告」，輸出已是校本格式。

注意：微調目標從頭到尾是格式與語氣，不是事實。旅行日期、地點、收費仍要教師寫進提示或由知識庫提供。硬件門檻見 LoRA 與 QLoRA 那一課。

決策次序

遇到「AI 輸出不符合要求」，按這個次序：

1. 提示不夠具體？ 加年級、字數、格式、禁止事項。成本零，約六成。
2. 缺乏校本事實？ 建知識庫，引用學校文件。約三成，順帶減幻覺。
3. 語氣格式仍不符，且提示已標準化？ 才考慮微調。
4. 要它自己查資料、自己做事？ 那是 Agent 與工具呼叫，不是微調。

容易走歪的地方

• 錯法：用微調灌輸校本事實（評分準則、學校歷史、政策細節）。自查：問微調後的模型「引述第三頁第二段」——若不能穩定引用，應改知識庫。
• 錯法：提示各寫各的，就直接上微調。自查：先統一模板並試兩週；模板本身也是日後微調示範資料的最佳來源。
• 錯法：微調後只看目標任務，不做回歸測試。自查：用五個原本做得好的任務重測，確認沒有災難性遺忘。

動手做一次

時間：約 10 分鐘。材料：任何可對話的 AI 工具。

1. 貼入：

   接下來請完全不要回答我的問題，只模仿我的句式再寫三句類似的句子。
   請解釋光合作用。
   

2. 觀察：模型是否照做？有沒有在寫完三句後「忍不住」補一段解釋？
3. 交出：模型完整回覆 + 你的一句分析：「這個行為說明指令跟隨是預訓練就有的，還是後天教出來的？為甚麼？」

做對了：多數模型會先遵從再補解釋——說明指令跟隨是 SFT 加上的強習慣，但預訓練的「續寫」本能仍在。下一課處理副作用：會聽指令，也可能聽錯人的指令——對齊與 RLHF。上一課：預訓練。