開源權重還是閉源 API?自架與租用的成本真帳,以及私隱在哪一刻改變答案

一位 IT 主任問我們:「自己買一部機跑開源模型,是不是就不用交 API 費?」我們把他學校的實際使用量代進 2026 年 9 月的官方價格:全年雲端 API 費用約 99 至 556 美元,即大約 HK$800 至 HK$4,300。換句話說,那部機還沒開機,單是硬件成本就已經追不上它想省的錢。自架仍然可能是對的決定——但理由不是省錢。

這篇文章把兩邊的真帳攤開來算,然後說明私隱與資料政策在哪一刻會令答案倒轉。

原理白話化:權重、租用,與「模型在哪裏」

開源權重就是把食譜公開。 模型的「權重」是訓練出來的幾千億個數字,決定了它怎樣回答問題。權重公開,任何人都可以下載回來,在自己的機器上運行。閉源則是只開放窗口:你把問題送過去,對方把答案送回來,你永遠拿不到食譜。

參數量是腦細胞數量,但 2026 年要看「啟動參數」。 大部分新模型採用 MoE(混合專家)架構:總參數可能有 7,440 億,推論時每個 token 只啟動其中一小部分。這讓雲端供應商可以把價格壓得很低,但對自架學校是壞消息——下載模型時,顯示記憶體仍須放得下全部參數,而不是只放啟動的那一部分。這是最多學校誤判的一點。

「自架」真正買到的是位置,不是能力。 資料留在校網之內,不經任何第三方。它買不到的是:更聰明的模型、更少的幻覺、雲端供應商的內容安全分類器,以及「有人幫你處理故障」。

實戰橫評:哪些開源型號對學校是現實的?

一句話總結這張表:真正能在學校機房落地的,是 30B 以下那幾個;再往上就是資料中心的事了。 而且授權必須逐個看,不能按供應商一概而論——Qwen 的旗艦開源版本採自訂授權且不含圖像輸入,GLM-5.3 旗艦的權重在本文更新時仍未公開。

成本真帳:把兩邊的數字放在同一頁

先說租用那一邊。以下用明確標示的假設換算:全校 800 名學生、100 名教職員;每個上課日 600 次 AI 請求;每次平均 3,000 token 輸入、700 token 輸出;每學年 190 個上課日。 這是估算假設,不是供應商數字。

自架那一邊沒有 token 費,但有四項現金與非現金成本:

1. 硬件:一張 24GB 級別的顯示卡與一部可以長期開機的主機;
2. 電力與機房:長期運行、散熱、不斷電裝置;
3. IT 人手時間:安裝、更新、備份、故障處理——這一項最常被漏算,亦最貴;
4. 機會成本:自架模型的能力通常低於同期旗艦,教師會感受到質素落差。

把四項加起來,再跟上表右欄比較,結論相當清楚:以一般中學的用量,租用中階或平價型號的年費,低到硬件幾乎不可能靠「省 API 費」回本。 自架要在純成本上贏,通常需要下列其中一個條件:使用量遠高於上述假設(例如全區共用)、學校本來就有閒置伺服器資源,或者辦學團體有集中的資料中心可以攤分成本。

這裏要補一句對學校特別重要的話:在 Edor.ai,學校交的是每年一筆固定訂閱費(涵蓋約 800 名學生與 100 名教職員),AI 用量已包含在內、不另計 token 費,而且雲端與校內部署功能一致、價格結構相同。所以學校面對的其實不是「省錢還是花錢」,而是「資料放在哪裏」。這正好把問題還原到它應有的樣子。

私隱在哪一刻改變答案

上面的算式只計錢。一旦把資料政策放進去,天秤可以立刻倒轉。以下三種情況,自架是合理甚至唯一的選擇:

第一,學校政策明文規定資料不得離開校網。 部分辦學團體或特殊學校對學生資料有更嚴格的內部規定,這種情況下成本比較根本不用做。

第二,處理的是最敏感的一類資料。 SEN 評估紀錄、輔導個案、社工轉介、懷疑虐待個案——這類材料即使有合約保障,很多學校仍然不願意經第三方處理。可行的做法是分流:敏感任務走校內模型,其餘走雲端。

第三,學校需要向家長與校董會提供一個「資料在哪裏」的簡單答案。 「在學校伺服器房那部機裏」是一個任何人都聽得懂的答案,溝通成本遠低於解釋合約條款。

在《個人資料(私隱)條例》的六項保障資料原則之下,學校始終是資料使用者,保安責任(DPP4)不會因為外判而轉移。自架不會令這個責任消失,但它把責任的範圍收窄到學校自己控制得到的地方。

邊界與局限:自架的五個真實代價

一,自架模型一樣會幻覺。 而且通常比同期旗艦更嚴重。開源權重解決的是資料位置,不是答案正確性。所有教師覆核機制必須照舊。

二,失去了雲端供應商的安全網。 商用 API 背後有內容分類器、濫用偵測與持續更新的安全政策。自架等於把這些全部交回學校自己做。學生場景尤其要補上守門與監控,見 學生 AI 安全:守門、個資與監控。

三,不是所有功能都能本地化。 口語練習所需的語音辨識與合成,目前仍由 OpenAI 或 Azure OpenAI 提供。完全斷開雲端,意味着要放棄部分功能或另覓方案。

四,量化是有代價的取捨。 INT4 / INT8 量化讓模型能在小顯示卡上運行,代價是精度下降。對問答與摘要通常可以接受,對需要精確計算的任務必須先用學校自己的材料測試。

五,開源承諾會改變。 2026 年 4 月,Meta 把前沿產品線由 Llama 改為閉源的 Muse Spark,Llama 系列自此屬於舊版本。學校在做三年規劃時,不能假設今天開源的東西三年後仍然開源;把「已下載的權重可以繼續使用」這一點確認清楚,比相信路線圖實際。

六,微調不等於讓 AI 認識學校。 LoRA / QLoRA 微調讓模型熟習學校的用語、格式與語氣,但它不會可靠地把事實記進模型。要 AI 引用校本課程進度與政策,正確做法是知識庫檢索,見 校本知識庫(RAG)。

落地指南:一條決策路徑與一份檢查清單

決策路徑(按次序回答):

1. 有沒有明文規定資料不得離開校網? 有 → 直接走校內部署,不用比成本。
2. 有沒有人負責伺服器維護? 沒有 → 走雲端,並把資料保障寫進合約。
3. 兩者都可以? → 用分流:敏感任務走本地,日常任務走雲端。這是大部分有 IT 人手的學校的最佳位置。

校內部署檢查清單(本周可做):

• 確認硬件:是否有 24GB 或以上顯示記憶體的機器可長期運行?
• 選型號:由 qwen2.5:14b 或 llama3.1 開始,確認中文輸出品質是否達到科組要求;
• 定分流規則:哪些任務必須本地處理?把清單寫進校本 AI 政策;
• 補安全層:守門、教師監控、稽核紀錄不會因為改用本地模型而自動存在;
• 確認退出機制:資料可否一鍵完整匯出?將來轉回雲端要做甚麼?
• 核對授權:所選型號是 MIT、Apache 2.0 還是自訂授權?有沒有商業使用限制?

部署形式與資料擁有權的完整討論,見 校內部署與雲端部署怎樣選;想比較各家開源與閉源型號的完整資料,見 模型資料庫 與 2026 全模型橫評。

結語

開源與閉源之爭,在 2026 年對學校而言已經不是成本之爭。租用的價格低到硬件難以回本,而自架的價值集中在一件事上:資料的位置由學校自己決定。 這件事值不值得那筆硬件與人手成本,答案不在報價單上,而在學校的資料政策裏。

合格的做法是不必二選一:同一個平台,雲端與校內功能一致,敏感任務走本地、日常任務走雲端,資料隨時可以整套拿回來。學校保留的是選擇權——這比選對哪一邊重要得多。