幻覺與偏見從何而來,以及教師可以怎樣攔截
從生成機制拆解幻覺為甚麼必然出現、偏見從哪裡滲入教材,並提供五道校本把關做法,讓 AI 留在「初稿助手」的位置。
Read in English週五小息,地理科王老師在教員室對着螢幕皺眉:「佢話 2023 年香港人均用電量比 2018 年升咗 37%,仲列咗來源係『國際能源署 2024 年報告』——我查咗半個鐘,根本搵唔到呢個數。」
幻覺不是模型「壞咗」,而是它從設計上就要把每個空白填滿;偏見則是它如實複製了訓練資料裡的世界。這是模組二在對齊訓練之後的最後一課,把前面學過的生成機制,落到教師每天會碰到的失準與偏差。
生成器沒有空白鍵
第 2 課 說過,模型每一步只做一件事:為下一個字打分,然後抽一個出來。第 4 課 說過,參數記的是規律,不是百科全書的條目。第 6 課 說過,預訓練的目標是接得順,不是查得準。第 8 課 說過,對齊訓練獎勵「有幫助、像真」的回答。
四件事加在一起,結果很直接:當模型遇到一個它沒有可靠依據的事實,它不會停下來,而是繼續預測下一個最像真的字。輸出讀起來越流暢,我們越容易誤以為它越可信——但流暢與正確是兩回事,王老師上面那個 37% 就是典型。
四種失準成因
分清成因,才知道該用哪種補救,而不是一律叫學生「不要信 AI」。
資料真空
你校的校務會議紀錄、某位學生的個別支援計劃、去年校慶的確切流程——訓練資料裡從來沒有。模型只能用最接近的公開規律去拼。校本事實的解法是把文件放進知識庫,讓它先檢索再回答,見 校本知識庫與 RAG。
資料稀薄
冷門的教育局通告編號、小眾學科術語、本地機構的正式名稱——模型「見過一點」,於是半真半假。這比完全不知道更危險,因為真話與假話混在同一篇裡,查核成本反而更高。
資料過期
課程修訂、考試安排、政策更新——模型記住的是舊版。這與 下一課 的知識截止日直接相關:它曾經知道,但停在某一天。
提問預設了不存在的事
如果你問「請摘要教育局 2019 年第 7 號 AI 教學通告第三章」,而這份通告根本不存在,大部分模型仍會寫一份像模像樣的摘要,因為你的句子已經假設了它存在。改成「有沒有這份通告?編號是甚麼?不確定請直說。」效果往往截然不同。
偏見滲入的三條管道
訓練文本裡的社會比例。 「護士」常與女性連用、「工程師」常與男性連用,生成的職業人物就會延續這個比例。模型沒有立場,只是在複製統計。
示範與排序資料裡的評分者。 第 7 課 與 第 8 課 的示範由具體的一群人撰寫與評分,他們對「得體」的標準未必等同香港課堂。
語言與地域的不平衡。 英語與簡體資料遠多於香港繁體,本地課程脈絡較弱。教材裡偏見常見於:性別與職業刻板配對、家庭背景單一、以及高估華麗但空洞的文句。見 私隱、偏見與版權倫理。
教員室的現場
一位小五班主任請 AI 起草「職業與我」閱讀材料,要求十個人物小傳,每個約八十字。第一版裡,七個專業白領角色是男性,三個照顧服務角色是女性;其中四個人物都住在「港島半山」,而該班有 19 名學生來自公共屋邨。
她重寫提示:性別接近五五分、至少三個職業不需大學學位、家庭背景包括公屋與劏房,並禁止自行發明統計數字。第二版可用度高很多;提示存進科組共用資料夾,共同備課用 8 分鐘對照兩版,同事後來在英文科 role-play 材料也發現同類問題。
幻覺要靠查核攔,偏見要靠清單攔;兩樣都不會因為「換了新一代模型」而自動消失。
校本把關的五道門
- 給退路。 提示結尾固定加:「不確定的資料請寫『待教師核實』,不要自行填補。」
- 要引用。 有知識庫的任務要求標出段落來源;沒有引用的數字、日期、人名,一律當未核實。
- 事實與文筆分工。 AI 管結構與句式;校史、政策編號、統計、人名由人提供。
- 反向追問。 得到答案後另開一輪:「以上哪幾項你其實不確定?逐條列出。」
- 高風險雙人覆核。 對外通告、評語、成績相關輸出,第二位同事過目一次。
容易走歪的地方
- 錯法:把流暢當準確。 學生常說「佢講得好清楚呀」——清晰不等正確。自查:任何數字、日期、法規名稱,是否能在官方文件或校本知識庫裡找到對應來源?
- 錯法:只禁止學生用 AI,自己卻不做查核。 教師端同樣會被流暢騙過。自查:你最近一次直接採用 AI 輸出而沒有核對,是哪一類資料?
- 錯法:以為加「請不要編造」就夠。 模型沒有「編造」的開關,只有「繼續寫下去」的機制。自查:提示裡有沒有明確的退路,以及可驗證的引用要求?
動手做一次
時間: 約 12 分鐘。材料: 任何 AI 工具,以及你手邊一份真實的校本文件(例如最近的家長信或活動通告,去掉學生姓名)。
做甚麼: 先貼以下提示 A,再貼提示 B,對照兩份輸出:
A: 請詳細說明香港教育局在 2019 年發出的《中小學人工智能教學指引》第三章的主要內容。
B: 香港教育局有沒有在 2019 年發出過一份名為《中小學人工智能教學指引》的文件?如果沒有,請直接說沒有;如果不確定,請說不確定。不要在不確定的情況下描述內容。
交出甚麼: 用三行記錄:A 有沒有給出像真答案、B 是否更保守、以及你會用哪一句「退路」放進科組共用提示。
怎樣算做對: 你能向一位同事解釋,為甚麼 A 比 B 更容易觸發幻覺,並說出一個你會在下一份校本提示裡加上的查核步驟。
繼續閱讀:知識截止日與版本管理。上一課:對齊:RLHF 與 DPO。相關閱讀:LLM 安全、幻覺與提示注入風險。
這一課的重點
- 能夠用「下一個字預測」解釋幻覺為甚麼不是 bug,而是機制使然。
- 能夠分辨四類失準成因,並判斷哪種校本任務風險最高。
- 能夠指出偏見在教材裡的三種典型樣貌,並在科組層面建立檢查習慣。
- 能夠設計帶「退路」的提示,並用反向追問把不確定之處逼出來。
幾條常被問到的問題
通常更危險,因為學生較少做查核,而且會把輸出當成權威。教師備課時至少知道哪些段落要核對;學生端則需要平台守門、教師事後抽查,以及課堂上示範「抓錯一次」的資訊素養活動。
比較安全,但非絕對。模型仍可能錯讀你提供的段落、把兩段資料混為一談,或在資料不足時自行補完。最穩的做法是要求逐句標出引用來源,並人工打開原文對照。
不是。最常見的偏見出現在日常教材:職業與性別配對、家庭背景的預設、以及評卷時對華麗文句的偏好。這些在常識、中文、英文科都會遇到,不需要等到敏感話題才處理。
不會。只要生成方式仍是機率預測下一個字,而世界仍有模型沒見過的事,填補空白的傾向就會存在。新模型的改善在於更願意承認不確定、以及更懂得檢索資料,但教師覆核這一關不能省。