一張顯示卡微調校本語氣：LoRA、QLoRA 與 PEFT 怎樣運作

七月科務會議，中文科主任說：「我哋評語用了十幾年同一套句式——『鼓勵你…』『宜再加強…』。AI 每次出嚟都似內地或台灣口吻，老師要逐份改。」資訊科技組補充：「而且過往作文唔想離開校網。」

這是模組五的開篇。模組四教怎樣用檢索與 Agent 接流程；本課回答：若問題是「不像我們學校寫的」而非「不知道校本事實」，能否在一張顯示卡上把語氣教進模型？ LoRA 與 QLoRA 就是近年令這件事在校內變得可行的做法。

---

在原譜上加一頁改編

樂團排練時，總譜厚達數百頁，每位樂手只需自己的聲部。若要把某首曲改成更適合校際比賽的節奏，你有兩種選擇：

• 重印全新總譜：每一頁都改——這是全參數微調。徹底，但要動用一般學校負擔不起的算力與時間。
• 在原譜上夾一頁「改編說明」：原譜不動，只附加一頁標註「第二段放慢半拍」「弦樂減八度」。排練時眼睛同時看兩頁，聽感就是改版。原權重不動，只訓練一小片 adapter——這就是 LoRA（Low-Rank Adaptation）。

參數高效微調（PEFT） 整族都共享這一句：凍結底座，只更新可拆下的薄層。一個 70 億參數的模型，LoRA 往往不到原大小的百分之一；備份與遷移的通常只是那幾十至幾百 MB 的 adapter 檔，不是整顆模型。

「低秩」可理解為：表面上千處改動，背後往往只有少數幾條原則（例如「避免口語」「每條評語要有具體例證」）在驅動——所以改編頁可以做得極薄。

QLoRA：先把總譜縮印再夾改編頁

LoRA 解決了「訓練多少」，但沒解決「排練時總譜仍要攤開在桌上」——訓練時完整模型仍佔 VRAM。

QLoRA 多做一步：用 4-bit 量化 把基礎模型以較粗精度載入（詳見下一課 量化），記憶體大約降到 FP16 的四分之一，再在上面訓練 LoRA。QLoRA = 量化底座 + LoRA adapter。

VRAM 大概區間

需求是範圍，不是單一個數字，取決於模型大小、序列長度與 batch：

• 30 億參數以下 + QLoRA：約 8–12 GB，中階遊戲卡往往夠用；
• 70–80 億參數：約 12–24 GB，多數學校落在此區間；
• 130 億以上：通常 24 GB 起，並需縮短一次餵入的文字長度。

一張 RTX 4090（24 GB） 已覆蓋絕大部分校本場景。真正的樽頸往往是：有沒有人願意整理經覆核的示例。

微調教的是「怎樣寫」，不是「寫甚麼」——這句話應寫在科務會議白板旁。

一間中學的四步做法

回到那位中文科主任。他們最後這樣推進：

1. 收集：三位教師從過去兩年評卷紀錄挑出 260 份 作文與原有評語，科主任逐份覆核，刪去姓名、班別與可識別身份。
2. 格式化：每條寫成「輸入=作文+題目要求，輸出=教師評語」。這一步約佔 65% 工時。
3. 訓練：資訊科技室單卡機器跑 QLoRA，約 9 小時 過夜完成（70 億參數、rank 16）。
4. 盲評：開學前同一批新作文分別送原模型與微調版，三位教師盲選「較像本校會寫的」——微調版在語氣與格式上明顯勝出，在內容深淺判斷上無顯著差異。

這正符合預期：微調校準風格，不替代專業判斷。

不該動手微調的時候

• 要模型知道新事實（校曆、獎懲條例）→ 用 RAG；
• 只是格式偶爾不穩 → 先收緊 提示工程；
• 需求每月在變 → 微調會把行為固化；
• 沒有經人覆核的示例 → 只會把壞習慣訓得更牢。

Edor.ai 校內部署怎樣接上

選擇校內部署的學校，可在自有伺服器上進行 LoRA / QLoRA——單張 RTX 4090 級消費卡即可微調中小型開源權重模型，訓練資料、adapter 與推論全程留校網。教師工具與評卷紀錄可一鍵匯出 JSON，再整理成訓練集；微調完成後經本地 Ollama 接回平台，教師介面不變。

我們仍建議先用校本知識庫：約八成需求 RAG 已夠；微調留給語氣要求極嚴的科組。部署比較見 本地 vs 雲端。

容易走歪的地方

• 錯法：用微調灌校本政策條文。自查：問微調後的模型「引用第三段原文」——若不能穩定引用，應改知識庫。
• 錯法：未統一提示模板就直接微調。自查：先共用模板試兩週；模板本身也是日後示範資料來源。
• 錯法：只看目標任務改善，不做回歸測試。自查：用五個原本做得好的任務重測，確認無災難性遺忘。

動手做一次

時間：約 12 分鐘。材料：任何 AI 工具。

1. 貼入：

以下是一段「理想的中文科評語氣」示例（約 80 字）：
「鼓勵你在敘事中加入更多感官描寫；宜再加強段落之間的銜接；下次可嘗試在結尾回應題目關鍵詞。」
請根據這段示例的風格，為下面這句學生作文開頭寫一句評語（不超過 60 字，不要解釋）：
「今日返學我好開心，因為見到同學。」

2. 再貼同一段提示，但在前面加一行：「請模仿示例語氣，但內容必須針對學生原文。」
3. 交出：兩次輸出 + 你寫一句：「若全校 120 位老師都要這種語氣，你會選改提示、建知識庫，還是收集示例做 LoRA？為甚麼？」

做對了：應能感到第二次較貼示例風格；你的理由若指向「長期穩定且已有多份經覆核示例 → 才考慮 LoRA」，即掌握本課核心。下一課拆解 QLoRA 裡的「Q」：量化。