LangChain 與 LlamaIndex:開發框架在做甚麼

一所中學收到三份 AI 方案建議書。其中兩份在技術章節寫着「採用 LangChain 與 LlamaIndex 架構」。校長把文件遞給資訊科技主任,問:「這兩個是甚麼?是不是很厲害?」

主任老實回答:「我聽過,但我不確定它們在方案裡到底負責甚麼。」

這一課就是為了讓學校在這種場合問得出對的問題。你不需要寫一行程式。

先想像學校的通用表格與流程

一所學校要辦一次校外參觀。真正的教學設計是老師的工作:去哪裡、學生要觀察甚麼、怎樣評估。但要辦成這件事,還需要一整套「接駁零件」:申請表、家長同意書範本、保險申報流程、財務報銷格式、交通預訂程序、意外應變指引。

這些零件本身沒有教學價值,但沒有它們,每次辦活動都要從零想一次,而且每位老師的做法都不一樣。

開發框架就是 AI 應用的這套零件。 模型是核心能力(相當於教學設計),而框架提供把它接進實際流程的所有配件:怎樣把 PDF 讀進來、怎樣切段、怎樣存向量、怎樣接上工具、怎樣記錄每一步、怎樣在模型出錯時重試、怎樣換成另一家供應商而不用重寫。

兩個名字,兩個側重

LangChain 的重心是流程與工具編排。它處理的問題是:先做甚麼、後做甚麼、模型要提出使用工具時該怎樣接、失敗了怎樣重試、要不要有人手介入的中斷點。上一課講的 Agent 循環,實際開發時多數就是靠這一類框架搭出來的,見 由 Chatbot 到 AI Agent。

LlamaIndex 的重心是把你的資料變成可檢索的內容。它處理的問題是:怎樣把 PDF、Word、簡報、網頁讀進來、怎樣切段、怎樣建索引、檢索出十幾段之後怎樣重排。也就是 校本知識庫與檢索增強生成 與 Chunking、檢索重排與「迷失在中間」 那兩課的工程實作版本。

兩者不是對立的選擇,實務上經常一起用:用 LlamaIndex 處理資料與檢索,用 LangChain 編排流程與工具。

框架真正的價值:換得掉

如果只記一件事,記這一件。

不用框架,直接把程式碼寫死在某一家供應商的介面上,結果是:學校想由 OpenAI 換成 Anthropic,或者想改用校內 Ollama,就要重寫整套系統。這在學校是真實發生過的困境——不是因為技術做不到,而是因為沒有人有時間重做一次。

框架提供一層統一的接口。換模型時,理論上只改一行設定,其餘不動。

對學校的意義很直接:議價能力與長期彈性。 一份好的技術方案應該讓學校三年後可以換供應商而不必推倒重來。這與上一課講 MCP 時的道理相同,只是層次不同:MCP 統一的是工具怎樣接上模型,框架統一的是模型怎樣接上你的應用。

那學校應該自己做嗎?

通常不應該,而理由與技術無關。

自行開發一套 AI 應用,學校要長期負責:安全更新、供應商介面變動、模型退役、資料備份、學生安全守門、稽核紀錄、以及最現實的一項——寫這套系統的那位老師調校之後由誰接手。我們見過學校投入一整年做出很好的原型,然後因為一次人事變動而閒置。

合理的分工是:框架這一層由平台處理,學校把精力放在只有學校做得出的東西上——校本知識庫的內容、科組的提示模板、教學設計與評估準則。這三樣沒有任何供應商代替得了,而且它們才是學校真正累積下來的資產。

一個課室裡的例子

回到那三份建議書。資訊科技主任讀完這一課之後,在評審會議上問了四條問題:

第一,「你們用 LlamaIndex 處理文件檢索,那答案會不會標明來源段落?教師點得開原文嗎?」——第一份方案答不出來,因為他們只做了檢索,沒有把來源回傳到介面上。

第二,「換供應商時我們要改多少?」——第二份方案坦白說明模型設定集中在一處,可以更換;第三份方案支支吾吾。

第三,「每一次 AI 回答有沒有紀錄?誰查得到?保留多久?」——這一條篩掉了一份完全沒有稽核設計的方案。

第四,「合約結束時,我們的文件與索引可以整套拿走嗎?收費嗎?」

四條問題沒有一條需要懂程式,但它們把三份建議書的差距完全問了出來。最後入選的方案不是技術詞彙最多的那一份,而是四條都答得具體的那一份。

這正是這一課的目的:教師的專業不在於選框架,而在於問清楚設計有沒有把學校的長期利益放進去。

這對你的課堂意味甚麼

1. 看見技術名詞不要退讓。 「採用某某框架」本身不是品質保證,你完全有資格問它負責哪一部分、解決了甚麼問題。
2. 把四條問題寫進採購清單。 來源標註、可換供應商、稽核紀錄、資料匯出——這四項應該成為學校評審 AI 方案的標準欄目。
3. 不要用學校資源去重複造這一層。 學校的稀有資源是教師時間與校本知識,不是工程人力。
4. 你累積的東西要帶得走。 知識庫文件、提示模板、評分準則屬於學校。確認任何方案都支援完整匯出,見 安全與私隱。

一段可以直接用來審視方案的提示

把供應商建議書的技術章節貼進 AI,配上這段提示,你會得到一份可以帶去評審會議的問題清單:

你是協助香港學校評審資訊科技採購的顧問。以下三角括號內是一份 AI 方案建議書的技術章節。
任務:列出這份建議書在以下四方面分別寫了甚麼、沒寫甚麼:一、答案是否標明資料來源並可讓教師核對;二、更換 AI 供應商的成本;三、每次 AI 回答的稽核紀錄與保留期;四、合約結束時學校資料與索引的匯出安排。
輸出格式:表格,欄位為項目、建議書的原文依據、缺漏之處、應向供應商追問的具體問題。
最後要求:只根據我提供的文字判斷,建議書沒有提及的一律寫「未提及」,不要替它推測;所有原文依據必須引用原句。
<<<
[貼上建議書技術章節]
>>>

留意最後那一段限制的寫法,以及長材料放在最後——這兩個習慣分別來自 一課讀懂 Prompt 工程 與 Chunking、檢索重排與「迷失在中間」。

接下來

模組四到這裡完成。前面一直說「要 AI 學會你的說話方式才需要微調」,那微調到底怎樣做、為甚麼近年變得便宜到一張顯示卡就做得到?下一個模組由 LoRA 與 QLoRA 開始。想回顧整個模組的脈絡,回到 LLM 教室課程大綱。