Context Caching 與成本控制:同一套投影不必每次重播
同一份課程綱要連續問十條問題,第二條起可以快很多、便宜很多。本課用「課室投影留同一套片、只換討論題」的比喻解釋 Context Caching,並說明它如何決定提示的排列順序。
Read in English暑假最後一週,高中歷史科科主任把整份新學年課程綱要貼進 AI,打算逐單元問:核心概念、與初中重疊處、建議評估方式、可連結的時事。問到第六條時她停住:「我每換一題都要重新貼一次這份 PDF 嗎?好像很浪費。」——這個問題,正是理解 AI 成本最好的入口。
RAG 與切段教你怎么少餵;本課教你怎么少算——同一套長材料重複問時,為甚麼第二條起可以更快更省,以及提示順序如何配合。
重複讀同一份材料很貴
模型每次處理輸入,都要把 token 轉成內部狀態,這一步佔大量運算,也是輸入越長、帳單越高的主因(中文 token 較多,見 Tokenization 與中文為何較貴)。
若你對同一份三千字的課程綱要連續提十四個問題,而每次都在開頭完整貼上同一份 PDF,等於叫系統把同一段文字從頭算十四次。供應商於是提供 Context Caching(或 Prompt Caching):開頭若逐字相同,就把已算好的結果暫存,下一個請求直接沿用,你主要為「新加的那幾行問題」付費。
投影已展好,只換討論題
比喻成課室小組活動:三頁閱讀材料投影在幕上,每組換一條討論題。
笨做法:每換一題,就重新載入整套投影檔、從第一頁播到第三頁,再發新題目。六組問六題,等於播十八遍。
聰明做法:三頁材料留在大幕上;每組只拿一張寫有新題目的小紙。
快取做的就是後者。Google Gemini 較新型號有隱式快取,OpenAI 對支援型號預設開啟,Anthropic 可明確標示快取邊界——學校不必記供應商細節,只需記排列原則。
快取認的是開頭是否逐字相同;變一個字在頂部,後面整段都要重算。
不變的在前,會變的在後
快取由第一行往後比對。開頭完全一致的部分可沿用;開頭任一改動,匹配從那一字起全部失效。
建議順序(與 迷失在中間 的「長材料在前、禁區在後」一致,一為成本、一為準確度):
- 最前:每次都相同的長段——課程綱要、政策全文、科組出題規範、範例文章。
- 中間:任務說明(較固定者也可放這裡)。
- 最後:這次獨有的問題,以及最重要的禁區與格式要求。
切忌在文件前加「今天是 9 月 12 日」——一句日期就能讓整份文件的快取作廢。日期若要寫,放最後。
英文閱讀題庫的六個對話
一所中學英文科要為中四做閱讀題庫:六篇文章,每篇四種題型(詞彙、理解、推論、寫作延伸)。
甲老師開二十四個新對話,每次貼一篇文章加一種題型,花了一個下午,還要統一風格。乙老師一篇文章一個對話:先貼「文章 + 科組出題規範」(固定開頭),再在同一對話連續要四種題型。六個對話完成全部,速度更快,同一篇文章四種題型自然一致。她把固定開頭存成科組模板——快取從技術機制變成工作方法。
年費訂閱與 token 計費
按 token 計費的供應商,一份長文件問二十次與問一次,帳差可以很大;這也是為甚麼校本平台採固定年費有意義。Edor.ai 以每校年度訂閱計費(約 800 名學生、100 名教職員),AI 用量已包含在內,模型漲價由平台吸收;部署亦可對接教育局「『智』啟學教」資助(每校最高 500,000 港元)。詳見 收費方式。
即使學校付年費,仍值得理解快取:它解釋回應速度、解釋提示順序、也解釋為何「同一份材料一次問完」優於「每題新開對話」。
規則補充:同一份材料的連續追問留在同一對話;話題已漂走、對話已很長時,應重開新對話,避免無關內容堆成新的「中段失憶區」。
容易走歪的地方
-
走歪:每問一題就新開對話並重貼全文,抱怨 AI「好慢好貴」。 自查:第二題起是否只改最後幾行?固定開頭是否逐字相同?
-
走歪:在固定材料最前面加問候、日期、情緒用語(「麻煩你了」)。 自查:把這些移到最後一行,再比較回應時間或 token 用量(若工具顯示)。
-
走歪:為慳 token 把學生個人資料貼進免費工具換快取命中。 自查:資料是否已在有守門的平台?便宜不能凌駕 安全與私隱。
動手做一次
時間:約 10 分鐘。材料:任何 AI 工具;一段約 400 字的教材或政策節錄(可重複使用同一段)。
做甚麼:用排法 A 在同一對話連續問兩個不同問題(只改最後兩行)。關閉對話,用排法 B 再問同兩題(每次新對話、問題寫在材料前面)。
排法 A(建議):
以下是本校中五歷史科單元二教材全文。
<<<
[貼教材]
>>>
任務:依教材出題。
本次問題:請出兩條因果題。
最後要求:只可依教材出題;每題附一句評分要點,不超過 25 字。
排法 B(不建議):把「請出兩條因果題」和日期放在教材之前,且每題新開對話。
交出甚麼:記錄兩種排法下第二題的回應感受(速度、風格是否延續上一題)、以及你是否只改動了提示末尾。
怎樣算做對:你能說明快取為何要求「固定段在前、變動段在後」,並把這條與 Lost in the Middle 的「禁區置尾」連起來——兩個原因,同一種寫法。
下一課:由 Chatbot 到 AI Agent。上一課:Chunking 與重排。
這一課的重點
- 把 Context Caching 想成課室投影已展開同一套片,換題目時只改最後幾行,不必從頭載入
- 說明快取由開頭往後比對,固定材料放最前、每次不同的問題與禁區放最後
- 解釋快取節省的是重複處理輸入的運算,主要供應商對命中部分折扣幅度大
- 養成「同一份材料、同一對話連續追問」的習慣,並理解年費訂閱與 token 計費的分野
幾條常被問到的問題
需要,原因有兩個。一是理解成本結構,你才看得懂為甚麼有些供應商用得越多越貴、而校本平台可以用固定年費;二是快取的原理直接影響你寫提示的順序,而這一點在任何工具裡都用得上。
快取是短期的技術性暫存,用來加速同一段開頭的重複處理,一般在數分鐘至數十分鐘後失效,並非長期儲存,也不等於用於訓練。但這不改變原則:敏感資料應在有守門與稽核的平台內處理,或選擇本地部署,見 [安全與私隱](/security)。
通常是因為開頭有東西改變了。哪怕在文件前面多加一句「今天是九月十二日」,整段開頭就對不上,快取就失效。這也是為甚麼建議把所有會變動的內容一律放到最後。
- · 文中的價格、功能與規格以上列官方文檔為準。供應商隨時會改,採購之前請自行覆核一次。
- · 文中提及的產品名稱與商標屬各自擁有者所有。Edor.ai 與該等公司沒有合作、代理或贊助關係。
- · 這是為教育用途做的獨立整理,不是採購建議,也不是法律意見。
- · 凡涉及學生個人資料的用法,請先按學校政策與《個人資料(私隱)條例》(PDPO)評估,然後才在校內推行。