讀懂 AI 排行榜：MMLU、GPQA 與 Chatbot Arena

資訊科技組週會上，負責採購的同事把一張 A3 榜單攤在桌上：「這個排第一，我們直接簽約吧？」中文科代表翻了一頁問：「榜上有沒有測過——它寫的初中作文評語，讀起來像不像我們科組平時寫的話？」全場安靜了五秒，沒有人能指給她看那一欄。

公開排行榜像一份全港公開試排名：數字真實，但回答的問題未必是你想問的。這一課接在 私隱、偏見與版權 之後，教你看懂 MMLU、GPQA、Chatbot Arena 與 LLM-as-a-Judge 各自量度甚麼，以及為甚麼最後仍要回到你自己科組的那三十條題目。

---

榜單在量度甚麼

排行榜回答的是：在固定題型、固定評分方式下，哪個模型平均表現最好。 它不回答：這個模型寫的繁體中文通告像不像人話、粵語口語回饋準不準、數學分步解說適不適合中三程度。

想像你只看公開試排名表為子女選校。表上排第一的學校確實有實力，但表上沒有量度校風、師生關係、課外活動，也沒有量度「適不適合這個孩子」。有些學校會針對排名收生、集中資源在計分科目——分數是真的，代表的意義卻變了。AI 榜單的四個限制與此同構：量度的是別人的場景、別人的偏好、過去的成績，以及可以被針對的題型。

榜單幫你把候選由二十個縮到三個；最後那一票，要由你的校本題目來投。

三種公開評測

MMLU

MMLU 是一份跨數十個學科的多項選擇題卷，由中學程度到專業程度都有。長處是覆蓋面廣、容易橫向比較；短處是多項選擇與真實課室差距大——會揀答案不等於能向小五學生解釋清楚。它推出得早，現時大部分新模型分數擠在很高的區間，分辨力已明顯下降。把它當成「這個模型基礎知識是否夠廣」的粗篩可以，不能當成「適合我校」的證明。

GPQA

GPQA 是研究生程度的科學問答，刻意設計成搜尋引擎幫不到——即使非該領域的專家上網查，也很難答對。它量度的是深層多步驟推理。對學校的直接參考價值不大（沒有幾位教師需要模型答研究生化學題），但若一個模型在 GPQA 表現穩定，通常代表它在數學文字題、邏輯推導上較不易跳步——這是間接訊號，不是採購決定。

Chatbot Arena

Chatbot Arena 不出固定試卷。真人使用者同時看到兩個匿名模型的回答，投票選較好的一個，再用類似棋類的等級分排名。長處是量度人類實際偏好；短處是投票者不是你的教師群體，且人類偏好本身有傾向——較長、格式工整、語氣自信的答案容易贏，即使內容未必更準確。對學校而言，Arena 排名適合理解「一般使用者覺得哪個好用」，不適合代替校本評估。

用 AI 評 AI

當題目多到人手評不完，業界會找一個強力模型當評審，給每份回答打分——這叫 LLM-as-a-Judge。它便宜、快、可重複跑，適合學校自己做批量比較。

已知的評審偏好

同樣正確的兩份答案，較長的容易得高分；有標題、有項目符號的看起來更「專業」；調換兩份答案的先後次序，評分可能改變（位置效應）；評審模型有時對風格相近的同系列模型評分較寬。這些不是 bug，是使用 LLM-as-a-Judge 時必須假設存在的偏差。

校本評估的跑法

實務對策很簡單：每對答案跑兩次並調換次序；寫明評分準則（例如「評語是否可直接貼給家長」「有沒有引用錯誤的本地資料」），不要只問「哪個比較好」；用少量人手覆核校準——十位教師盲看十份，若與 AI 評審一致率低于七成，就不要讓 AI 評審單獨定案。

為甚麼分數會被抬高

資料污染是最主要的機制。公開測試題流到網上，模型訓練時讀了進去，考試時答對可能只是背過答案。不一定是供應商刻意作弊，但分數同樣會高估真實能力。因此，模型發布日期之後才出現的題目、新發布的評測、以及學校自建的私有題目集，比舊榜單上的分數更有判斷力。

還有一種更軟性的針對：整個行業盯著 MMLU 等少數榜，模型自然在這幾類題型上愈做愈好，而在沒人量度的地方——例如繁體中文語氣是否自然——沒有進步壓力。結論不是「榜單都是假的」，而是高分只代表「值得放進候選名單」，不能替你做最後決定。

校本三十至五十題

一間中學的做法可供借鏡：兩個下午，五個科組各交五至十條題目，合共四十條，全部來自教師真實會做的事——中文科三份初中作文求三項改進建議（不給分）、英文科詞彙練習生成與作文回饋、數學科五條中三文字題分步解說、常識科五條需引用香港本地資料的概念解釋、校務三份通告草稿與兩份會議紀錄摘要。

評分刻意做得很粗：兩位教師盲看，每份只答「可直接用／要小改／要大改」。結果推翻了會議桌上那張榜——榜上排名較後的一個模型，在繁體中文評語與通告草稿上明顯較好；榜上第一的模型在數學分步解說上確實領先。學校決定不是「用哪一個」，而是哪個模組用哪一個。

這份四十條題目集後來成為常設工具：每次供應商更新模型、調整量化等級（第 21 課）、或考慮微調（第 20 課），都重跑一次。Edor.ai 後台可按模組切換供應商，ai_audit_logs 記錄每次互動的模型與用量，換模型前後有可比較基線；評卷模組教師覆核時的每一次修改，也是累積校本評估集的人手樣本。各模型規格見 AI 模型資料庫 與 2026 全模型橫評。

容易走歪的地方

把榜單第一名當採購決定。 自查：你的校本題目集有沒有至少一條測「這個場景」？若四十條裡零條涵蓋粵語或繁體評語，榜單對你幾乎無參考價值。

評估集題目來自「想像中的任務」而非真實備課。 自查：每條題目能否指名「哪一位教師、哪一週、哪一個班」會用到？若答不出來，重跑評估也改變不了採購結論。

換模型後沒有重跑基線。 供應商靜靜更新版本、學校調了量化設定，沒有同一批題目重跑，只能靠感覺判斷好壞。自查：ai_audit_logs 或你自己的紀錄裡，有沒有「某年某月、某模型、四十條結果」的快照？

動手做一次

做甚麼： 用十五分鐘起草你校評估集的前五條題目，並用兩個模型各跑一次。

第一步（5 分鐘）： 從你本週真實會做的任務中，寫出五條「貼上就能測」的提示——例如「為中二作文寫三項改進建議，不給分」「把這段會議紀錄摘要成五句通告」。每條標註科目與難度。

第二步（7 分鐘）： 選排行榜上差異明顯的兩個模型（不必是最前兩名），用同一批五條各跑一次。

第三步（3 分鐘）： 對每條結果只打三選一：可直接用／要小改／要大改。統計哪個模型「可直接用」較多。

交出甚麼： 一張表列五條題目、兩個模型的三選一結果、一句話結論「哪個模型在哪些科目值得再測」。

怎樣算做對： 五條題目都來自真實教學場景；三選一判定有具體理由（不是「感覺较好」）；結論指向「哪個模組用哪個」而非「哪個最好」。若兩個模型五條全是「要大改」，代表題目太難或提示太模糊，先改題再比模型。

下一課是本課程最後一課：多模態、推論型模型與具身智能。