教育局『智』啟學教撥款計劃 · 撥款使用期限 2028 年 8 月 31 日前,把握機會,聯絡我們!English
第 17 課模組四:做應用時真正要懂的概念 12 分鐘· 程度: 進階

Context Caching 與成本控制:同一套投影不必每次重播

同一份課程綱要連續問十條問題,第二條起可以快很多、便宜很多。本課用「課室投影留同一套片、只換討論題」的比喻解釋 Context Caching,並說明它如何決定提示的排列順序。

Read in English

暑假最後一週,高中歷史科科主任把整份新學年課程綱要貼進 AI,打算逐單元問:核心概念、與初中重疊處、建議評估方式、可連結的時事。問到第六條時她停住:「我每換一題都要重新貼一次這份 PDF 嗎?好像很浪費。」——這個問題,正是理解 AI 成本最好的入口。

RAG 與切段教你怎么少餵;本課教你怎么少算——同一套長材料重複問時,為甚麼第二條起可以更快更省,以及提示順序如何配合。


重複讀同一份材料很貴

模型每次處理輸入,都要把 token 轉成內部狀態,這一步佔大量運算,也是輸入越長、帳單越高的主因(中文 token 較多,見 Tokenization 與中文為何較貴)。

若你對同一份三千字的課程綱要連續提十四個問題,而每次都在開頭完整貼上同一份 PDF,等於叫系統把同一段文字從頭算十四次。供應商於是提供 Context Caching(或 Prompt Caching):開頭若逐字相同,就把已算好的結果暫存,下一個請求直接沿用,你主要為「新加的那幾行問題」付費。

投影已展好,只換討論題

比喻成課室小組活動:三頁閱讀材料投影在幕上,每組換一條討論題。

笨做法:每換一題,就重新載入整套投影檔、從第一頁播到第三頁,再發新題目。六組問六題,等於播十八遍。

聰明做法:三頁材料留在大幕上;每組只拿一張寫有新題目的小紙。

快取做的就是後者。Google Gemini 較新型號有隱式快取,OpenAI 對支援型號預設開啟,Anthropic 可明確標示快取邊界——學校不必記供應商細節,只需記排列原則。

快取認的是開頭是否逐字相同;變一個字在頂部,後面整段都要重算。

不變的在前,會變的在後

快取由第一行往後比對。開頭完全一致的部分可沿用;開頭任一改動,匹配從那一字起全部失效。

建議順序(與 迷失在中間 的「長材料在前、禁區在後」一致,一為成本、一為準確度):

  1. 最前:每次都相同的長段——課程綱要、政策全文、科組出題規範、範例文章。
  2. 中間:任務說明(較固定者也可放這裡)。
  3. 最後:這次獨有的問題,以及最重要的禁區與格式要求。

切忌在文件前加「今天是 9 月 12 日」——一句日期就能讓整份文件的快取作廢。日期若要寫,放最後。

英文閱讀題庫的六個對話

一所中學英文科要為中四做閱讀題庫:六篇文章,每篇四種題型(詞彙、理解、推論、寫作延伸)。

甲老師開二十四個新對話,每次貼一篇文章加一種題型,花了一個下午,還要統一風格。乙老師一篇文章一個對話:先貼「文章 + 科組出題規範」(固定開頭),再在同一對話連續要四種題型。六個對話完成全部,速度更快,同一篇文章四種題型自然一致。她把固定開頭存成科組模板——快取從技術機制變成工作方法。

年費訂閱與 token 計費

按 token 計費的供應商,一份長文件問二十次與問一次,帳差可以很大;這也是為甚麼校本平台採固定年費有意義。Edor.ai 以每校年度訂閱計費(約 800 名學生、100 名教職員),AI 用量已包含在內,模型漲價由平台吸收;部署亦可對接教育局「『智』啟學教」資助(每校最高 500,000 港元)。詳見 收費方式。

即使學校付年費,仍值得理解快取:它解釋回應速度、解釋提示順序、也解釋為何「同一份材料一次問完」優於「每題新開對話」。

規則補充:同一份材料的連續追問留在同一對話;話題已漂走、對話已很長時,應重開新對話,避免無關內容堆成新的「中段失憶區」。

容易走歪的地方

  • 走歪:每問一題就新開對話並重貼全文,抱怨 AI「好慢好貴」。 自查:第二題起是否只改最後幾行?固定開頭是否逐字相同?

  • 走歪:在固定材料最前面加問候、日期、情緒用語(「麻煩你了」)。 自查:把這些移到最後一行,再比較回應時間或 token 用量(若工具顯示)。

  • 走歪:為慳 token 把學生個人資料貼進免費工具換快取命中。 自查:資料是否已在有守門的平台?便宜不能凌駕 安全與私隱。

動手做一次

時間:約 10 分鐘。材料:任何 AI 工具;一段約 400 字的教材或政策節錄(可重複使用同一段)。

做甚麼:用排法 A 在同一對話連續問兩個不同問題(只改最後兩行)。關閉對話,用排法 B 再問同兩題(每次新對話、問題寫在材料前面)。

排法 A(建議):

以下是本校中五歷史科單元二教材全文。
<<<
[貼教材]
>>>
任務:依教材出題。
本次問題:請出兩條因果題。
最後要求:只可依教材出題;每題附一句評分要點,不超過 25 字。

排法 B(不建議):把「請出兩條因果題」和日期放在教材之前,且每題新開對話。

交出甚麼:記錄兩種排法下第二題的回應感受(速度、風格是否延續上一題)、以及你是否只改動了提示末尾。

怎樣算做對:你能說明快取為何要求「固定段在前、變動段在後」,並把這條與 Lost in the Middle 的「禁區置尾」連起來——兩個原因,同一種寫法。

下一課:由 Chatbot 到 AI Agent。上一課:Chunking 與重排。

這一課的重點

  • 把 Context Caching 想成課室投影已展開同一套片,換題目時只改最後幾行,不必從頭載入
  • 說明快取由開頭往後比對,固定材料放最前、每次不同的問題與禁區放最後
  • 解釋快取節省的是重複處理輸入的運算,主要供應商對命中部分折扣幅度大
  • 養成「同一份材料、同一對話連續追問」的習慣,並理解年費訂閱與 token 計費的分野

幾條常被問到的問題

需要,原因有兩個。一是理解成本結構,你才看得懂為甚麼有些供應商用得越多越貴、而校本平台可以用固定年費;二是快取的原理直接影響你寫提示的順序,而這一點在任何工具裡都用得上。

快取是短期的技術性暫存,用來加速同一段開頭的重複處理,一般在數分鐘至數十分鐘後失效,並非長期儲存,也不等於用於訓練。但這不改變原則:敏感資料應在有守門與稽核的平台內處理,或選擇本地部署,見 [安全與私隱](/security)。

通常是因為開頭有東西改變了。哪怕在文件前面多加一句「今天是九月十二日」,整段開頭就對不上,快取就失效。這也是為甚麼建議把所有會變動的內容一律放到最後。

資料來源與免責
  • · 文中的價格、功能與規格以上列官方文檔為準。供應商隨時會改,採購之前請自行覆核一次。
  • · 文中提及的產品名稱與商標屬各自擁有者所有。Edor.ai 與該等公司沒有合作、代理或贊助關係。
  • · 這是為教育用途做的獨立整理,不是採購建議,也不是法律意見。
  • · 凡涉及學生個人資料的用法,請先按學校政策與《個人資料(私隱)條例》(PDPO)評估,然後才在校內推行。

訂閱教室手記

每月一至兩封:課堂做法、系統更新與撥款資訊。隨時可以退訂。

這個電郵只用來寄通訊,不會給第三方。