教育局『智』啟學教撥款計劃 · 撥款使用期限 2028 年 8 月 31 日前,把握機會,聯絡我們!English
第 19 課模組四:做應用時真正要懂的概念 12 分鐘· 程度: 實作

LangChain 與 LlamaIndex:供應商文件裡的名字,教師該追問甚麼

建議書常寫「採用 LangChain / LlamaIndex」,但教師不必寫程式。本課用舞台前台與後台分工的比喻,說明框架在接甚麼線,並提供四條採購追問。

Read in English

學期初,一所中學校長把三份 AI 方案放在會議桌上,封面都寫「採用 LangChain 與 LlamaIndex」。他轉向資訊科技主任:「我唔識呢兩個名——佢哋係咪代表好勁?」主任答:「我知係開發工具,但唔知佢哋喺我哋學校究竟接邊啲線。」

這是模組四的收尾課。上一課談 Agent 與 Tool Calling;實務上很少從零手寫循環,而是用現成框架把檢索、工具與紀錄接好。教師不必選框架,但要能在評審會追問設計——否則術語會變成空白支票。


前台與後台

學年匯演當晚,觀眾看見的是台上十分鐘:燈光、音響、投影、司儀串詞。同一時間,後台有另一群人:接 HDMI、對講頻道、備援播放、記錄哪一段出錯要重來。

語言模型是前台表演者——生成文字、回應提問。LangChain 與 LlamaIndex 這類框架是後台線路——把 PDF 讀進來、切成段落、建索引、接到工具、在失敗時重試、把每一步寫進日誌。沒有後台,每次匯演都要重新拉線;有後台,換一位表演者(換模型)時,燈光台不必整個拆掉。

兩條後台分工

名字常一起出現,但側重不同。

LangChain 管流程

它回答「先做甚麼、後做甚麼」:模型要求使用工具時怎樣接、Agent 循環怎樣轉、哪一步要等人手按確認。上一課的「讀結果再排下一步」,在工程裡多半由這類編排層搭出來。

LlamaIndex 管資料入口

它回答「文件怎樣變成可搜尋的段落」:讀 PDF、Word、網頁,切段、建向量索引、檢索後重排。對應 校本知識庫與 RAG 與 Chunking 與重排 的實作版。

實務上常一起用:LlamaIndex 處理資料與檢索,LangChain 串流程與工具——像匯演同時需要音控與燈控,不是二選一。

框架的真正價值不是名氣,而是「換模型時後台線路可唔可以留低」——這句值得帶去評審會。

可換供應商才值得寫進合約

若程式直接寫死在某一家 API 上,由 OpenAI 轉 Anthropic,或轉校內 Ollama,往往等於重寫。我們見過學校花一年做原型,供應商合約一完就無力遷移。

框架提供一層共用接口:換模型時,理想情況只改設定檔的一小段,其餘流程、稽核、介面不動。這與 MCP 的道理同方向——MCP 統一工具接法,框架統一模型接法;都在保護學校的長期彈性。

Edor.ai 已內建這層:可在 OpenAI(預設)、Azure OpenAI、Anthropic、Poe 與本地 Ollama 之間切換,學校拿到的是成品工具,不是一堆待組裝零件。

評審會上的四條追問

回到那三份建議書。資訊科技主任讀完本課後,在評審會只問四件事——不需懂程式:

  1. 來源:「答案會否標明出自哪一段校本文件?教師點得開原文?」——第一份只做了檢索,介面沒有回傳段落,答不出來。
  2. 可換性:「三年後換 AI 供應商,我們要改幾多?」——第二份說明模型設定集中在一處;第三份含糊其詞。
  3. 稽核:「每次 AI 回覆有否紀錄?誰可查?保留幾耐?」——其中一份完全沒有設計,直接出局。
  4. 帶走:「合約結束,文件與索引可否整套匯出?收費幾多?」

四條問題把差距完全問出來。入選的不是術語最多的那份,而是四條都有具體答案的那份。教師的專業不在選框架,而在確認設計有把資料擁有權、稽核與覆核寫進去。

容易走歪的地方

  • 錯法:見到框架名字就默認方案可靠,不再追問來源與稽核。自查:用下面練習的提示,把技術章節轉成追問清單再開會。
  • 錯法:用教師時間與校本預算自行維護框架層。自查:問「誰在科任離職後負責安全更新?」若答不出,應選平台而非自研。
  • 錯法:只比模型名稱,不比資料能否一鍵匯出。自查:要求示範匯出格式與是否含索引;見 安全與私隱。

動手做一次

時間:約 12 分鐘。材料:任一 AI 工具 + 一份(可公開的)技術建議書或產品說明節錄。

  1. 貼入:
你是協助香港學校評審資訊科技採購的顧問。以下 <<< >>> 內是 AI 方案技術章節。
請就四項列出「建議書有寫/沒寫/應追問甚麼」:一、答案可否標明資料來源;二、更換 AI 供應商成本;三、每次回答的稽核與保留期;四、合約結束時資料與索引匯出。
只根據提供文字判斷,未提及寫「未提及」,不要替供應商推測;有依據時引用原句。
<<<
[貼上技術章節]
>>>
  1. 交出:AI 產出的四項清單 + 你標記「最危險的一項缺漏」及理由(一句即可)。

做對了:清單裡有「未提及」而非編造;你的標記應指向稽核或匯出其中一項。模組四到此完成;下一模組由 LoRA 與 QLoRA 開始。課程總覽見 LLM 教室。

這一課的重點

  • 能夠說明框架不是模型,而是把模型、檢索、工具與紀錄接在一起的後台線路
  • 能夠區分 LangChain(編排流程與工具)與 LlamaIndex(文件進場與檢索索引)
  • 能夠在評審會提出來源標註、供應商可換性、稽核與資料匯出四條追問
  • 能夠判斷學校應把精力放在校本內容與模板,而非自行維護框架層

幾條常被問到的問題

絕大多數學校不應該。自行維護意味著長期承擔安全更新、API 變動、人員流失——一位寫系統的科任調走,往往沒有人接手。合理分工是平台處理框架層,學校專注知識庫、提示模板與教學設計。

只代表開發者用了常見零件。同一套框架可以做出有來源標註、有稽核的系統,也可以做出把學生資料隨手轉發的系統。要問的是設計,不是名稱。

MCP 統一的是「工具怎樣接到模型」;框架統一的是「模型怎樣接到你的應用與資料」。兩者層次不同,但都服務同一個目標:降低換供應商時推倒重來的風險。

資料來源與免責
  • · 文中的價格、功能與規格以上列官方文檔為準。供應商隨時會改,採購之前請自行覆核一次。
  • · 文中提及的產品名稱與商標屬各自擁有者所有。Edor.ai 與該等公司沒有合作、代理或贊助關係。
  • · 這是為教育用途做的獨立整理,不是採購建議,也不是法律意見。
  • · 凡涉及學生個人資料的用法,請先按學校政策與《個人資料(私隱)條例》(PDPO)評估,然後才在校內推行。

訂閱教室手記

每月一至兩封:課堂做法、系統更新與撥款資訊。隨時可以退訂。

這個電郵只用來寄通訊,不會給第三方。