幻覺與偏見從何而來,以及可以怎樣管

一句話答案:幻覺不是故障,而是一部「永遠會把空白填滿」的機器在遇到它沒見過的東西時的必然行為;偏見則是它忠實反映了訓練資料裡的世界。

由一段校史說起

一位負責校慶的老師想用 AI 起草一份校史簡介。她輸入了學校名稱和一些已知資料,得到的初稿讀起來相當動人:創校年份、首任校長的姓名、五十年代的一場火災、七十年代遷校的經過,連當年校舍的街道名都有。

問題是,其中三項是編造的。首任校長的名字錯了,那場火災從未發生過,街道名則是把區內另一條街的名字搬了過來。而最令人不安的一點是:編造的部分,文筆比真實的部分更流暢。

她問了一條很重要的問題:「如果佢唔知,點解唔直接講唔知?」

為甚麼它不會說「我不知道」

要回答這條問題,把前面幾課串起來就夠了。

第 2 課 說過,模型每一步只做一件事:為下一個字打分,然後抽一個出來。第 4 課 說過,參數儲存的是規律而不是條目。第 6 課 說過,預訓練的唯一目標是接得順。第 8 課 說過,對齊訓練獎勵「有幫助」。

把這四件事放在一起,結論就很清晰了:

當模型遇到一個它沒有見過的事實,它不會遇到一個「空白」然後停下來。它會遇到一個「下一個字應該是甚麼」的問題,而這個問題永遠有答案。 於是它用最像的規律砌一個出來——一個五十年代香港學校的校史,通常會有甚麼?於是就有了火災。

這就好像叫一位學生做填充題,而他寧願填一個看似合理的答案也不願留白,因為留白肯定零分。分別只在於:學生知道自己在猜,模型不知道。

幻覺的四個成因

分清成因很有用,因為不同成因有不同解法。

一,資料裡沒有。 你校的校史、去年的校務會議決議、某位學生的成績——訓練資料裡從來沒有。這一類幻覺的解法是給它資料,即 校本知識庫與 RAG。

二,資料裡太少。 冷門的教育局通告編號、小眾學科的專門術語、香港本地的機構名稱。模型「見過一點」,於是半真半假,這反而比完全不知更危險,因為輸出裡真假混雜。

三,資料裡已經過時。 課程改革、考試安排、模型發佈之後的一切。這一類有一個專門的成因,叫知識截止日,是 下一課 的主題。

四,提問方式誘導。 這一類最容易被忽略。如果你問「請說明 2019 年教育局就 AI 教學發出的第 7 號通告的內容」,而這份通告根本不存在,大部分模型會替你寫一份出來,因為你的提問已經預設了它存在。改成「教育局有沒有就此發出過通告?如果有,編號是甚麼?如果沒有或你不確定,請直接說明。」結果會完全不同。

偏見的三個來源

訓練資料反映的社會。 如果訓練文本裡「護士」多數與女性連用、「工程師」多數與男性連用,模型生成的教材角色分配就會延續這個比例。這不是模型有立場,而是它忠實地反映了資料。

標註者的背景。 第 7 課 與 第 8 課 的示範資料與排序資料,是由具體的一群人撰寫與評分的。他們的文化背景、語言習慣與價值判斷會進入模型。對香港學校而言,最實際的後果是:模型的「得體」標準未必是香港課堂的標準。

語言與地域的不平衡。 英語資料遠多於中文,簡體中文遠多於繁體中文,而香港用語在繁體中文裡又只佔一部分。結果是模型處理香港課程脈絡時較弱,這一點在 第 6 課 已經談過。

在教學材料裡,偏見最常見的表現是三種:人物例子的性別與職業配對過於刻板、舉例時預設某種家庭結構或經濟條件、以及評卷時高估文筆華麗但內容空洞的作品。

一個課室裡的例子

一位小六常識科老師要準備一份「香港的職業」教材,請 AI 生成十二個職業人物簡介,每個一百字,附插畫提示。

第一版的結果很值得討論。十二個人物中,醫生、工程師、機師、律師全部是男性;護士、幼稚園老師、社工、文員全部是女性。此外,有四個人物的背景設定都提到「住在私人屋苑」、「父母都是專業人士」,而她任教的學校有超過一半學生住在公共屋邨。

她的處理方式很值得參考。她沒有逐個改,而是重寫了提示:明確要求性別分佈平均、明確要求家庭背景多元、明確要求包括至少三個不需要大學學歷的職業、並要求每個人物說明「他為甚麼選擇這一行」。第二版可用度高很多。

然後她做了一件更重要的事:把這段提示放進科組的共用模板,並在共同備課時間用第一版與第二版做了一次十分鐘的分享。她的同事之後在其他科目也發現了同類問題。

這是偏見管理最實際的做法:不是期望模型自己公平,而是把「檢查甚麼」變成科組的共同習慣。 更完整的討論在 私隱、偏見與版權倫理那一課。

五項可以即時使用的做法

1. 給它退路。 在提示結尾固定加一句:「若任何資料你不確定,請寫『待教師核實』,不要自行填補。」這一句的效果比任何叮囑都大。
2. 要求標明出處。 在有知識庫的環境裡要求引用,並實際點開來看。沒有引用的事實陳述,一律當作未經核實。
3. 把事實與文筆分開處理。 讓 AI 寫結構和文句,事實由你填。校史、數據、日期、人名、政策編號,這五類永遠由人提供。
4. 用反向提問驗證。 得到答案後,另開一段問:「以上哪些說法你其實並不確定?請逐項列出。」模型在這種問法下的坦白程度,通常高於直接生成時。
5. 高風險場合設雙重覆核。 對外文件、學生評語、成績相關的輸出,由第二位同事看一次。這不是不信任 AI,而是這些場合本來就應該有第二雙眼睛。

先自己試一次

把下面兩段先後貼進任何 AI 工具,對照結果:

第一段:請詳細說明香港教育局在 2019 年發出的《中小學人工智能教學指引》第三章的主要內容。

第二段:香港教育局有沒有在 2019 年發出過一份名為《中小學人工智能教學指引》的文件?如果沒有,請直接說沒有;如果你不確定,請說不確定。不要在不確定的情況下描述內容。

第一段常常會得到一份寫得很像樣的「第三章摘要」。第二段通常會誠實得多。兩段的分別只在於提問方式——而這正是教師最能夠控制的一環。

這對你的課堂意味甚麼

1. 把 AI 定位為初稿工具,不是查證工具。 它很擅長組織與表達,不擅長保證準確。分工清楚之後,兩邊都會做得更好。
2. 凡是校本事實,一律走知識庫。 這不只是準確度問題,也是可審計性問題——有引用,才有得核對。
3. 在科組層面建立檢查清單。 性別與家庭背景是否多元、數據是否有出處、政策名稱是否核實過。個人習慣容易鬆懈,科組清單不會。
4. 向學生示範查核過程,而不是禁止使用。 讓學生親眼看見 AI 編造一次,比講十次「不要盡信 AI」有效得多。這本身就是一堂很好的資訊素養課。

下一步

這一課處理的是「它不知道」的情況。但還有一類特別的不知道值得單獨一課:它曾經知道,只是知識停在某一天。下一課我們看知識截止日,以及學校應該怎樣管理模型版本。

繼續閱讀:知識截止日與版本管理。上一課:對齊:RLHF 與 DPO。相關閱讀:LLM 安全、幻覺與提示注入風險。