出題與評分準則提示:由學習重點反推試題

一句話答案:先寫清楚這份卷要考哪幾個學習重點、各佔多少分、各佔哪個認知層次,再叫 AI 出題——次序倒過來,出來的卷永遠要重排。

一份看起來很齊全的測驗卷

一位中三科學科老師用 AI 出了一份單元測驗:

出一份中三科學「力與運動」單元測驗,20 條題目,包括選擇題和短答題。

二十題很快就有了,排版整齊,看起來很專業。但她把題目逐條對照學習重點時發現:十四題在考定義與公式記憶,只有兩題涉及分析實驗數據,而「分析速度時間圖」這個本單元最重要的學習重點,一題也沒有。

卷不是差,是分佈錯了。而分佈錯的原因,是提示裏從來沒有提過分佈。

原理

出卷的專業判斷有兩層:考甚麼(內容),以及考到甚麼深度(認知層次)。把這兩層畫成一個表格,橫軸是認知層次、縱軸是學習重點,每一格填上分數——這就是雙向細目表。

打個比方:細目表之於試卷,等於食譜的份量表之於一道菜。沒有份量表,你可能把鹽放了三次而忘了糖。AI 不會自己判斷比例,因為它不知道你這個單元的教學重心在哪裏;但只要你給了細目表,它就會嚴格照着填。

所以出題要分兩步:先出細目表,你確認之後,才出題目。這也符合 第 4 課 講的任務拆解原則。

範本一:先出雙向細目表

你是香港中學科學科教師的評估設計助手。我們分兩步做,現在只做第一步。
任務(第一步):為一份單元測驗設計雙向細目表。
脈絡:中三,單元「力與運動」。學習重點:(1) 描述力的種類與作用;(2) 運用牛頓第一定律解釋日常現象;(3) 由速度時間圖讀出加速度與位移;(4) 分析簡單實驗數據並作出結論。教學時數 8 節。本單元的教學重心在(3)與(4)。測驗總分 40 分,限時 45 分鐘。
輸出格式:表格,縱軸為四個學習重點,橫軸為三個認知層次(記憶與理解 / 應用 / 分析與評鑑),每格填入建議分數與題數。表格下方用三點說明分配理由,並列出總分核對。
限制:分析與評鑑層次的分數不可少於總分的三成;不要現在就出題目,那是第二步;每個學習重點至少要有一題;如果你認為某個學習重點不適合在筆試中評估,請指出並說明,不要勉強分配分數。

細目表出來之後,你花一分鐘看比例對不對,改完才進第二步。

範本二:按細目表出題

你是香港中學科學科教師的出題助手。
任務:按下面確認好的雙向細目表出題。
脈絡:[貼上修訂後的細目表]。學生已學:[列出]。尚未學:[列出,例如「未學牛頓第二定律的計算」]。本校測驗的慣用格式:選擇題四選一、短答題標明分數、數據題附圖表描述由教師稍後補上。
輸出格式:按細目表逐格出題,每題包含——題號、題目、對應學習重點編號、認知層次、分數、答案。選擇題另附一欄「誘答項設計」,逐一說明每個錯誤選項對應哪一個學生迷思。全卷最後附分數核對表。
限制:所有題目只可使用學生已學的方法與概念;誘答項必須是學生真的會犯的錯誤,不可以是明顯湊數的選項;需要圖表的題目請用文字描述圖表內容並標示「圖表待教師補上」,不要自行生成數據;涉及具體科學常數、單位或實驗數值而你不確定的,標示「待教師核實」。

「誘答項設計」那一欄是這條提示最有價值的部分。它迫使模型為每個錯誤選項找一個教學上的理由,你掃一眼就知道哪些選項是湊數的——那些通常就是要改的題。

範本三:寫評分準則

開放題的評分準則,重點是把等級寫成可觀察的行為。

你是香港中學公民與社會發展科教師的評估設計助手。
任務:為一條延伸回應題設計評分準則。
脈絡:中五,題目要求學生就「香港應否進一步限制私家車進入市區」提出立場並論證,建議作答 350 字,佔 12 分。學生已學論證結構與資料詮釋,但常見問題是只列出論點而沒有解釋因果。
輸出格式:表格,三個維度(立場與論點、理據與資料運用、反駁與結論),每個維度四個等級。每一格寫一句可觀察的表現描述,並在維度下方註明該維度的分數上限。表格之後另附三點——(一)常見的中間分數判斷難處與處理原則;(二)兩個示例答案片段,分別對應最高等級與中間等級,並說明評分理由;(三)一句給學生看的簡化版準則。
限制:表現描述必須可觀察,不可以用「表現優異」、「理解深刻」這類無法判斷的字眼;三個維度的分數總和必須等於 12;示例答案片段必須是你自行創作的合成例子,不可以引用真實學生作品;如涉及具體政策、法例或統計數字,一律標示「待教師核實」,不要寫出未經核實的數據。

範本四:審查自己出的卷

出完卷之後換一個角色審查,是最划算的一步。

你是香港中學[科目]科的資深科主任,負責審閱同事擬定的試卷。
任務:逐題審查下面這份試卷,指出問題。
脈絡:[年級]、單元「[名稱]」,總分[分數],限時[分鐘]。學生已學[列出],尚未學[列出]。隨卷附上雙向細目表:[貼上]。
輸出格式:表格四欄——題號、問題類別(歧義 / 超範圍 / 答案有誤 / 分數不相稱 / 用詞不適合該年級 / 無問題)、具體說明、建議修改。表格之後用三句總結全卷是否符合細目表,以及限時是否合理。
限制:逐題審查,不要只給整體評語;不要重寫整份試卷,只指出問題與建議;如果某題你無法判斷答案是否正確,標示「待教師核實」而不要猜;審查時要考慮學生尚未學的內容,任何用到未學方法的題目都必須指出。

試卷:
[貼上]

常見錯誤

• 先出題後補細目表。 這樣細目表只是把既成事實填進格子,失去了調整分佈的作用。次序必須是細目表在前。
• 只寫「難度適中」。 難度不是一個可執行的指令。可執行的是認知層次與分數分配。
• 誘答項湊數。 四個選項中有兩個明顯不可能,題目就退化成二選一。要求模型說明每個誘答項對應的迷思,問題會自己浮出來。
• 評分準則用形容詞分級。 「優 / 良 / 常 / 差」四個字不能讓兩位教師評出接近的分數。要寫成「能指出至少兩項理據並解釋其因果關係」這種可觀察的描述。

進階變化

• 換科目:中國語文科的閱讀卷可要求「每題註明考核的閱讀能力層次(檢索 / 理解 / 分析 / 評價)」;英文科的寫作題可要求 "provide the task rubric in student-facing language as well as the marking rubric";資訊科技科可要求「每題註明是概念題還是操作題,操作題須列出評分時要看的具體輸出」。
• 換年級:小學的準則要用學生看得懂的語言,並且等級不超過三級。中學可以四級,並加入示例答案片段。
• SEN 調適:出卷時一併要求「為需要延長時間的學生標示哪些題目可以刪減而不影響學習重點覆蓋」,這比考試當日臨時決定準確得多。
• 匯入評估系統:如果試題要匯入題庫或試算表,不要只靠版面,改用明確的結構化輸出格式。見 第 15 課。

卷出好了、準則寫好了,下一步是最耗時也最敏感的一環:評卷與回饋。見 第 9 課。