校內跑模型：Ollama 與 LM Studio 實作路線

開學前最後一個星期五，資訊科技組主任在教員室角落那台多媒體室備用機上裝了 Ollama。物理科王老师在旁邊問：「如果光纖斷了，這台還能不能幫學生做詞彙練習？」十七分鐘後，模型用三句話解釋完浮力，王老师说：「就這樣？那為甚麼我們還在等供應商報價？」

把模型跑在校內，技術門檻比想像低，但「能動」和「全校靠得住」之間隔著一整條 IT 管理鏈。本課是本地部署模組的實作篇，承接上一課的模型量化，下一課會把範圍縮到學生手上的裝置。

---

中央廚房與試菜小爐

同一粒量化模型，可以透過兩套工具跑起來，差別在誰來操作、跑在哪裡。

Ollama 像學校中央廚房的商用爐灶：界面樸素，靠指令和 API 點火，但火力穩、可以連續開機，適合裝在伺服器房，讓 Edor.ai 或其他校內系統定時「落單」。LM Studio 像教員室裏的小電磁爐：有按鈕、有預覽、可以邊試邊換鍋（換模型），適合科主任或資訊組在決定上線前，自己試幾個候選模型。

兩者底層做同一件事：下載 GGUF 格式的量化權重（格式細節見第 12 課），在顯示卡或 CPU 上推論。選 Ollama 還是 LM Studio，不是二選一的宗教戰爭，而是「試菜」與「開飯」的分工。

在一台舊機上跑通

以下以 Ollama 為例，Windows、macOS、Linux 指令相同。第一次操作，預留二十分鐘已經足夠。

# 1. 拉下一個小模型（首次視乎網速，約數分鐘）
ollama pull llama3.2:3b

# 2. 直接對話；輸入／ bye 離開
ollama run llama3.2:3b

# 3. 查看本機已有哪些模型
ollama list

# 4. 查看哪個模型正在佔用記憶體
ollama ps

# 5. 試完可刪走釋放空間
ollama rm llama3.2:3b

要讓校內其他電腦或 Edor.ai 連上這台機，Ollama 會在本機開服務埠 11434。快速自測：

curl http://localhost:11434/api/tags

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2:3b",
  "prompt": "用三句話向小五學生解釋甚麼是浮力",
  "stream": false
}'

LM Studio 則在應用程式內搜尋模型、下載、開啟對話分頁即可；若要給其他程式呼叫，在設定裏開啟本機伺服器功能。

上線前四件行政事

跑通之後，別急著匯報「全校可用」。先確認：校網 VLAN 位置、11434 有否誤對外開放、誰負責每月更新、設定檔有否納入備份。模型檔可重下，提示模板不能。

記憶體帳與排隊現象

硬件預算沒有「買 8 GB 一定夠」這種簡單答案，要同時看模型參數、量化位元、上下文長度，以及同時在線人數。

三十億參數、4 位元量化，大約需要 4 GB 至 6 GB 顯示卡記憶體——不少學校現有的教師機或多媒體室備機已達標。七十至八十億參數、4 位元量化，大約 6 GB 至 10 GB，這是科任日常覺得「夠用」的常見區間。同樣一個模型，上下文由 4K 拉到 32K，記憶體可能再多吃幾 GB，比預期快。

沒有獨立顯示卡的電腦也能跑，靠 CPU 推論，速度大減，只適合示範，不適合服務學生。另一個維度是並發：一張卡服務一位教師，回應流暢；同一張卡同時接三十個學生請求，後面的人就要等。要支援整班同時做 AI 練習，要嘛規劃多卡或排隊機制，要嘛把高並發場景留在雲端。

能在一台舊機上跑通，只代表「廚房可以開火」；要餵飽八百人，還得算爐位、算出菜速度、算停電怎樣辦。

混合部署的實際分工

一間 Band 2 中學的做法值得參考。英文科詞彙與句式練習——重複性高、每次對話短、不涉及評分、不處理個人資料——被判定適合校內模型。資訊組在伺服器房用單張消費級顯卡跑八十億參數 4 位元模型，Edor.ai 後台只把英文詞彙模組切到本地 Ollama，作文回饋和長篇分析仍走雲端。

三個月後：大部分教師感覺不到介面有變；某次光纖中斷半日，詞彙練習照常，成了最有說服力的校本論據。學生對話仍經四層守門與教師監控——模型在校內，守門不能省，見第 24 課。Edor.ai 可按模組切換本地 Ollama，完整平台校內部署見本地部署 vs 雲端部署。

容易走歪的地方

• 一跑通就全校推廣。 試用兩星期後，能否說出至少兩個「只有校內模型才解決到」的場景？說不出，就還沒到買伺服器。
• 把評分和長推理塞進校內小模型。 短、重複、低風險任務才適合；DSE 作文評估仍應走雲端加教師覆核。自查：AI 答錯的後果是「笑一笑」還是「成績表多一個數字」？
• 以為本地部署等於資料自動安全。 守門、監控、ai_audit_logs 仍要開。自查：關掉四層守門後，能否還原上週某節課的對話？

動手做一次

做甚麼： 在辦公室或資訊科技室電腦安裝 Ollama，拉下 llama3.2:3b，用一句課堂提示測試，再用 curl 打 /api/generate，記錄回應秒數。

交出甚麼： ollama list 輸出、curl 回應首段、秒錶時間——三行紀錄即可。

怎樣算做對： 三個不同科目的小提示均在 30 秒內完成；curl 返回含 response 的合法 JSON。超時則記下是硬件還是模型限制——這份紀錄就是申請硬件的依據。