對齊：RLHF 與 DPO 怎樣教模型「守規矩」

中二班主任翻查學生 AI 對話紀錄，看見學生寫「我覺得自己好冇用，唔想返學」。AI 沒有心靈雞湯，也沒有診斷；它承認感受、追問近況、建議找信任的老師或社工。班主任問：「佢邊度學識咁答？」——這個「邊度」，就是本課：模組二訓練三階段的收尾，在 SFT 教會「聽指令」之後，再教「甚麼算好答案、甚麼不該做」。

第 7 課 的 SFT 像背誦示範稿——給理想答案讓模型模仿。但人手寫不出所有情境的示範，而且很多時候「好答案」根本不唯一。對齊訓練換一種教法：不給標準答案，而是像辯論賽評判，反覆看兩份回應，判斷哪一份較好、為甚麼。

---

辯論評判，不是背誦范文

校際辯論賽的評判不會預先背誦每道辯題的「標準答案」。評判手上有的是準則：論點是否清晰、證據是否充分、有沒有回避問題、語氣是否得體。同一道辯題，正反方都可以贏，評判要比較的是哪一份論述在準則下較佳。

SFT 是「背范文」——給模型看理想回應讓它模仿，適合教格式與指令跟隨，但示範有限，且無法窮盡「學生情緒求助」這類開放情境。

對齊訓練是「當評判」——同一問題生成多個答案，人類排序，模型從比較中學到準則本身，而非標準答案。這補上三種難靠示範教會的：承認不確定、拒絕有害要求、敏感情境下轉介。

RLHF 與代理評判

人類評分者不可能為訓練中每一次生成都排序——人力是天文數字。做法像大型公開考試：先培訓一批代理評判，再用他們代為打分。

具體來說，收集幾萬組人類排序，訓練一個獨立小模型——獎勵模型——專門給答案打分，分數盡量貼近人類評分者。主模型之後自己練習：生成答案、交獎勵模型評分、按分數調參數、再生成。循環可跑幾百萬次而無需人在場。整套流程叫 RLHF（基於人類回饋的強化學習）；OpenAI 在 InstructGPT 公開說明中正是這樣描述。

RLHF 有效，但流程複雜，且獎勵模型會出錯——主模型擅長利用評判漏洞，業界常說它學會「討好評判」而非「答得更好」。

DPO 直接餵評判結果

2023 年的 DPO（直接偏好最佳化）直接用「A 好過 B」比較對調整模型，跳過獎勵模型——像把「甲文較乙文好」的判斷一對一拿給學生看，而非先培訓代課評判。DPO 簡單、穩定、成本低，今日大部分開源對齊都用 DPO 或變體；校本對齊調整門檻遠低於 RLHF，見 LoRA 與 QLoRA。

供應商的對齊是全球通用的底線，不是貴校的校規——兩層都要有，缺上面一層，學生場景仍然不安全。

兩個副作用

過度拒絕：安全訊號過強時，中史戰爭、健康教育、文學自殺情節等正當教學可能被拒——換問法、說明用途與年級，多數能通過。諂媚傾向：評分者偏好令自己滿意的回應，模型學會迎合；要批評必須明講「列出最可能失敗的三處，不要先讚」。

這兩個副作用，加上 第 9 課 的幻覺，是教師使用 AI 時最需要警覺的三件事。

訓導組發現的缺口

訓導組發現學生在開放工具問「點樣可以唔使返學」，答案無危險內容，但沒有轉介、通知或紀錄。供應商對齊決定「全球使用者都不該看到甚麼」；學校還要決定年級尺度、哪些對話通知班主任、紀錄保留多久——供應商不認識這位學生。

完整做法是兩層：供應商對齊在下，學校守門、監控與稽核在上——見 AI 護欄、提示注入防禦、學生 AI 安全與監控。

容易走歪的地方

• 錯法：以為「已對齊」就等於校本安全，學生可直接用公開工具。自查：公開工具通常無 ai_audit_logs、無年級守門、無教師通知——三項至少缺兩項。
• 錯法：備課時不指定要批評，然後抱怨 AI「只會讚」。自查：同一教案分兩次問——一次開放問「你覺得點」，一次加「不要先稱讚，列四個最可能失敗處」——比較差異。
• 錯法：歷史課被拒絕就認定「這模型不能用」。自查：在問題裡加「中三中史科課堂用途、討論戰役背景」再試；若仍拒絕，才考慮換模型或校內護欄設定。

動手做一次

時間：約 15 分鐘。材料：任何可對話的 AI 工具。

1. 第一次問：

   我設計了一份小三數學工作紙：全部文字應用題，沒有圖像，共 40 題，限時 30 分鐘。你覺得這個設計怎樣？
   

2. 第二次問（可開新對話）：

   請以嚴格課程專家身分，列出上述工作紙（40 題文字應用題、30 分鐘、小三）最可能失敗的四個地方，每項給具體修改。不要先稱讚，不要用「整體不錯」開頭。
   

3. 交出：兩次回覆各摘錄兩句 + 你的一句結論：「兩次差異主要來自模型能力，還是對齊訓練留下的傾向？」

做對了：第一次多半先肯定；第二次才指出 40 題／30 分鐘明顯不合理——這是諂媚傾向，不是能力問題。模組二到此結束；下一課進入模組三，處理「它講的是不是真的」：幻覺與偏見。上一課：微調與 SFT。