提示除錯清單:輸出不對時逐項檢查甚麼

場景:第七次重寫,輸出還是不對

一位中五通識與公民及社會發展科老師要做一份資料比對表。第一次的輸出欄位不對,她重寫;第二次語氣太學術,她再重寫;到第七次,她已經記不清最初那一版寫過甚麼,而輸出仍然不合用。

問題不在於她寫得不好,在於她每次都同時改了三四樣東西。角色換了、任務句改了、加了兩句限制、又刪掉一個示例——輸出變好或變壞,她都不知道是哪一句造成的。這是除錯最常見的失敗模式。

正確的做法是把它當成改簿:先找出錯在哪一步,再改那一步。這一課給你一份順序清單。順序很重要,因為前面的問題會偽裝成後面的問題——任務含糊會看起來像格式問題,脈絡過長會看起來像模型不夠聰明。

一個貫穿全課的原則:一次只改一項,改完用同一個輸入重跑。 這是除錯與碰運氣的分別。

原理

模型不會「誤解」你的意思,它只是在你給的文字上算出最可能的續寫。所以輸出不對,幾乎總是輸入裡有一個可以指出來的缺口:你以為說清楚了但其實沒有、你說了但位置不對、或者你說了兩次而兩次不一致。

可以這樣理解:代課老師照著你留下的指示上課,結果上錯了。你不會重寫整份指示,你會問——是我沒有寫清楚教到哪一頁?還是我寫了但夾在第三段中間?還是我附的範例跟我寫的要求對不上?除錯就是這幾條問題,按固定順序問一次。

第 1 項:任務是否含糊

**症狀:**輸出方向對但不是你要的東西;每次跑出來的側重點都不同。

**檢查:**把你的任務句唸給一位不熟悉這件事的同事聽,問他「你會交甚麼給我」。如果他要反問你一條問題才知道怎樣做,模型也需要那個答案。

最常見的三種含糊:沒有說對象(給學生看還是給家長看)、沒有說用途(課堂討論還是評估)、沒有說範圍(整個單元還是一節課)。

角色:你是提示診斷助理。
任務:檢視下方提示,找出當中含糊、可以有多過一種理解的地方。
輸出格式:表格三欄——含糊之處(原文引述)、可能的兩種理解、建議補上的一句。表格之後另寫一行,指出最需要先澄清的一項。
限制:不要重寫提示,只作診斷。不要加入原提示沒有的教學要求。凡你能從提示確定的部分,不要列為含糊。
提示:
[貼上你的提示]

第 2 項:輸出格式有沒有指定

**症狀:**內容大致可用,但每次的結構都不同,要人手整理。

**檢查:**你的提示裡有沒有一句明確說出「輸出是甚麼」?「請詳細說明」不是格式,「三點,每點一句,加一個表格」才是。

修正方法在 結構化輸出 有完整處理:欄位逐一列明、允許值封閉、禁止增減。只要輸出要合併或存檔,這一項就不能省。

第 3 項:脈絡是不是太長

**症狀:**你貼了很多資料,但輸出只反映了開頭和結尾的部分;或者模型開始忽略你前面說過的限制。

**檢查:**數一數你貼進去的內容。整份三十頁的政策、整個學期的教材、二十份學生作品一次過——這些都太長了。

修正有三種,由易到難:只貼相關段落、把最關鍵的限制移到最後、以及改用檢索方式只取相關內容(見 引用式提示)。長文本中段被忽略的機制,見 LLM 教室:分塊、重排與迷失在中間。

第 4 項:指令有沒有被埋在中間

**症狀:**你明明寫了某項要求,輸出裡就是沒有。

**檢查:**那一句要求在提示的第幾行?如果它夾在一大段背景描述中間,它被忽略的機會明顯較高。

修正:把最關鍵的三至五條限制抽出來,編號,放在提示最後,並在輸出規格中加一句要求模型逐項確認。

角色:你是提示結構檢視助理。
任務:檢視下方提示,指出哪些要求的位置可能令它被忽略。
輸出格式:
1. 「要求清單」——把提示中所有可執行的要求逐條抽出,標明它在提示中的位置(開頭/中段/結尾)。
2. 「高風險項目」——位於中段或被背景資料包圍的要求,逐項列出。
3. 「建議的重排次序」——只列出次序,不要改寫內容。
限制:不得新增、刪除或改寫任何要求,只作抽取與排序建議。無法判斷是否屬於要求的句子,列為「需教師判斷」。
提示:
[貼上你的提示]

第 5 項:示例之間是不是互相矛盾

**症狀:**你加了示例,輸出反而更不穩定。

**檢查:**逐個示例對照你的限制行。最常見的矛盾是:限制寫「每點不多於 30 字」,示例卻有一點寫了 60 字;限制寫「不得給答案」,示例的示範回應卻包含了答案;兩個示例用了不同的欄位次序。

示例的權重很高。 當示例與限制打架,模型往往聽示例。所以示例必須是你真正想要的輸出的樣本,而不是隨手寫的說明。詳見 少樣本示例與輸出一致性。

角色:你是提示示例的一致性檢查助理。
任務:比對下方提示的限制行與所附示例,找出兩者不一致的地方。
輸出格式:表格四欄——限制行的要求、示例中對應的部分、是否一致(一致/不一致/示例未涵蓋)、建議修改示例還是修改限制。表格之後另寫一行,指出哪一項最可能是輸出不穩定的成因。
限制:只比對提示文字與示例,不得試跑或推測模型的實際輸出。不得改寫示例內容,只指出差異並建議方向。示例之間若有互相矛盾之處(例如欄位次序不同),另列一節說明。凡你無法判斷是否構成矛盾的,標明「請教師判斷」。
提示與示例:
[貼上你的提示連同全部示例]

第 6 項:是不是選錯了模型

**症狀:**前五項都檢查過、提示已經很精確,但輸出仍然在多步推理中途跳步或算錯。

**檢查:**這個任務需要幾步推理?一份評分準則五項、每項要引用學生原文、再加總分——這是多步任務。日常寫通告是單步任務。

單步任務用便宜快速的型號完全足夠,換旗艦不會更好;多步推理任務則值得升級。但要留意:格式不對、語氣不對、漏了要求這三類問題,換模型不會有任何改善,那是提示的問題。各型號的定位差異見 模型資料庫 與 OpenAI、Anthropic Claude、Google Gemini。

六項都檢查過,還是不對

這時候問題通常不在提示,而在任務本身。三種常見情況:

• 任務需要學校自己的文件。 你在問它你校的政策、進度或格式,而它從來沒有讀過。這要靠知識庫,不是提示。
• 任務需要人手判斷。 涉及學生個別情況、家校關係、操行判斷的事情,AI 可以整理材料但不應下結論。
• 任務一次要求太多。 一個提示同時要備課、出題、做工作紙、寫評分準則,拆成四個提示比改寫一個有效得多。

常見錯誤

1. 一次改多項。 改完變好了也不知道是哪一句的功勞,下次遇到同類問題又要從頭試。修正:一次改一項,用同一個輸入重跑。
2. 只跑一次就下判斷。 模型本身有隨機性。修正:同一個輸入連跑三次再判斷,三次都不對才算提示問題。
3. 靠加字解決問題。 提示越加越長,結果觸發第 3 項與第 4 項。修正:先刪再加——刪掉重複與不影響輸出的背景,往往比加要求有效。
4. 跳過第 1 項直接處理格式。 任務含糊時,格式寫得再準確也只是把錯的東西排得整齊。修正:一定要按順序來。

進階變化

• **科組共同除錯:**把這六項做成一張表,共同備課時逐個模板跑一次。比每位教師各自試錯省時很多,而且結論可以直接寫進模板的「已知限制」欄,見 建立科組提示模板庫。
• **學生版的除錯練習:**中五資訊科技科可以把第 1 項與第 5 項做成課堂活動,讓學生找出一段含糊提示的三種理解。
• **評卷提示的專項檢查:**多加一項——輸出有沒有引用學生原文作為依據?沒有引文的評語通常代表模型在憑印象評分。
• **SEN 相關提示:**多加一項——輸出有沒有出現診斷性或標籤性字眼?這一項應該列為最高優先。
• **小學科目:**第 1 項的對象欄要特別留意,小四與小六的用字深淺差距很大,含糊的年級描述是小學提示最常見的失敗原因。

課程小結

十八課走到這裡,核心其實只有幾件事:把角色、任務、輸出與限制寫清楚;用示例讓輸出穩定;涉及事實就要求標明來源與核實;涉及學生作品就不准重寫;然後把有效的提示留在學校而不是個人手上。

回到 課程大綱 可以重溫任何一課。想再往下一層,理解模型為甚麼會這樣反應——為甚麼會幻覺、為甚麼會忘記前文、護欄是怎樣運作的——請到 LLM 教室,兩門課講的是同一批技術的兩個面向。想看這些技術在校本平台內怎樣落地,見 平台功能 與 安全與私隱。