Chunking、檢索重排與「迷失在中間」

學期初，行政組主任把整疊家長須知（共二十二頁 PDF）一次貼進 AI，問：「哪些活動需要家長電子簽署？」AI 列了五項；她人工對照後發現漏了三項——全部在第 9 至 14 頁，也就是文件正中央。她說：「我以為長上下文等於全記得。」

上一課 RAG 教「先翻檔再答」；本課處理翻檔之後仍常出錯的原因：長輸入裡的中段是高風險區，以及切段、重排、提示順序如何對症下藥。

---

改卷時的中段失憶

想像你請同事改一份超長作業，但只給他十分鐘。他多半清楚記得第一頁的評語要點和最後一頁的總結，中間十頁變成模糊印象——不是沒看，是注意力分配不均。

語言模型有類似傾向。研究者把關鍵資訊放在長輸入的不同位置測試，發現資訊在開頭或結尾時準確度最高，落在中段時明顯下降，即使模型標榜百萬 token 上下文。這個現象叫 Lost in the Middle（迷失在中間），原始論文見 sources。

對教師的實務結論很直接：一次貼入的長文件，中間那幾頁最不可靠。 原理與自注意力機制有關，見 Embedding、位置編碼與自注意力。

對抗迷失在中間最有效的方法，往往不是叫模型「更認真」，而是不要一次給它那麼多頁。

切段的尺吋：像指定改第幾頁

Chunking（切段）決定知識庫裡每一「格」装多少文字。比喻成改卷：不要叫同事一次吞二十二頁，而是每次只改指定三頁，並要求他引用原句。

• 切太碎（一句一格）：失去上下文。「不得超過三十分鐘」——甚麼不得超過？
• 切太大（整章一格）：一格裡混了五個主題，檢索時夾帶大量無關句，把關鍵条文推進「中間」。
• 切得剛好（一個完整意思單位）：約 300 至 500 字，一段講一件事。

學校文件有天然界線：政策按條號、進度表按單元、課本按小節、通告按標題。沿結構切，幾乎總比每 400 字硬切好。 排版清楚、標題分明的 Word 檔，在知識庫裡往往勝過掃描出來的長 PDF。

德育通函 vs 硬切字數

同一條「連續缺席通知流程」，按固定 400 字切可能把「班主任須於當日」留在第七段末尾、「通知學生輔導主任」留在第八段開頭——兩段各自被檢索時都不完整。按通函的小標「請假流程｜三天以上」切段，則整段邏輯在同一格內，檢索一次就夠。

重疊一兩句，防止斷崖

相鄰段落保留約一成重疊：下一段開頭重複上一段最後一兩句。成本是儲存略增；回報是關鍵句不會剛好被剪在邊界上。政策条文常一句很長，這招在行政文件上特別值得做。

重排：從十五份減到四份

檢索第一輪常拉回十幾段「可能相關」的內容，但排在最前的未必最對題——尤其當多份文件都出現「評估」「呈交」「時限」等相近用語。

重排（reranking） 用第二個較細緻的模型，逐段與問題比對，重新排序，只把最相關的三四段交給主模型。效果像科目主任翻開十五份舊指引後說：「這四份才答你的問題，其餘是別科的。」

段落由十五段減到四段，輸入變短，「中間」高風險區幾乎消失——這比換更大的上下文窗口更實際。

關鍵指示放在最後一行

即使手動貼文，也適用同一條排版規則（與下一課快取原理呼應）：

1. 前面放長材料（文件節錄、學生作文、教材全文）；
2. 中間寫任務；
3. 最後一行寫最重要的禁區（不要編造、找不到就說沒有提及、每項字數上限）。

很多人把要求寫在最頂，下面貼二十段通告——等於把禁區推進低注意力區。把「找不到就答沒有提及」放在整段提示的最後一行，效果往往立即可見。

容易走歪的地方

• 走歪：見到「支援 100 萬 token」就整份 PDF 一次貼入，期待完整摘要。 自查：漏掉的細節是否集中在中段？試改為按章節分六次提問，比較漏項是否減少。

• 走歪：只要 AI 摘要，不要原文引用。 自查：摘要無法核對；要求「引用原句並標段落編號」，若引用不出，代表它可能沒讀到。

• 走歪：掃描 PDF 不 OCR、不補標題，直接上傳知識庫。 自查：檢索紀錄裡是否常出現「看似相關但答非所問」的段落？若是，先整理排版再談換模型。

動手做一次

時間：約 12 分鐘。材料：任何 AI 工具；自行準備約 15 段短文字（每段 2–3 句，可混雜無關行政通告），其中一段寫明「校外比賽須交回家長電子簽署同意書，截止為活動前五個工作天」。

做甚麼：用以下模板，把關鍵段分別放在**第 8 段（中間）與第 14 段（接近結尾）**各試一次：

以下是本校 15 段行政節錄，已編號。哪一段提到家長電子簽署？請引用段號與原句。
<<<
[段落 1] …
…
[段落 15] …
>>>
若節錄中沒有答案，只答「沒有提及」，不要推測。

交出甚麼：兩次結果對照——中段與結尾哪次較易答對；若兩次都對，記下你用的模型名稱。

怎樣算做對：你能向同事解釋 Lost in the Middle 是什麼，並說出「分段處理 + 引用原句 + 禁區置尾」三招如何互補。

下一課：Context Caching 與成本控制。上一課：校本知識庫與 RAG。