Embedding、位置編碼與 Self-Attention：模型讀句子的三個機制
用博物館展區、分鏡編號與總譜對位三個新比喻，拆解 Transformer 如何把文字變成可計算的理解，以及這與校本知識庫檢索的關係。
Read in English星期三放學後，中五通識科任在教員室試校本知識庫。她輸入「學生喺校暈低點算」，系統取回《學生身體不適處理指引》第三段，標明出處。她轉身對鄰座說：「佢明明冇我啲字，點搵到？」——這個「搵到」，靠的就是本課三個機制。
模型讀一句話，不是逐字查字典，而是先把每個 token 放到一張「意思地圖」上，再標明先後次序，最後讓每個位置決定此刻該聽哪些位置。這是模組一（基礎零件）的收尾課：上一課談參數存甚麼，這一課談參數在讀句子時怎樣運作。
展區地圖
Embedding 可以想成博物館的展區地圖，不是按字母排展品，而是按主題聚類：環保區、歷史區、科技區各自成簇，主題相近的展品自然靠在一起。
從編號到位置
Token 只是展品的庫存編號——「T-48291」本身不告訴你它是甚麼。Embedding 把編號換成地圖上的座標：「環保區、靠入口、鄰近回收示範」。模型在訓練中反覆調整這些座標，直到「常一起出現的詞」在 map 上靠得愈來愈近。
座標不是二維平面，而是上千個方向同時存在——某方向區分「人／物件」，另一方向區分「正式／口語」。方向愈多，兼顧的相似性愈細。
對校本知識庫的意義
這張地圖直接支撐語意檢索。教師問「學生喺校暈低點算」，手冊寫「學生身體不適之處理程序」——字面幾乎不重疊，但兩句在 map 上幾乎重疊，所以 RAG 知識庫 找得到。建知識庫必須有 embedding 模型，原因就在這裡。
分鏡編號
展區地圖有一個盲點：它不記得次序。
「狗咬人」和「人咬狗」三個 token 的座標完全一樣。對小學常識科而言，這不是小問題。Transformer 的設計讓所有位置同時互看（第 2 課 已講），代價是天生沒有「先後」概念。
位置編碼補上這一塊。做法像電影分鏡：每個 token 除了展區座標，還有一個場次編號——第 1 格、第 2 格、第 3 格。編號資訊混進座標，於是每塊碎片同時帶着「我是甚麼意思」和「我排第幾」。
對教師的實用推論：提示裡的次序有意義。最重要的指令放開頭或結尾，通常比埋在中段有效；長文件的中段最容易被忽略——這在 Chunking 與重排序那一課 有正式討論。
總譜對位
Self-attention 是讀句子的核心動作。想像一位編曲家打開總譜：處理「他」這個音時，不是從頭掃到尾，而是同時聽整段譜上哪些音跟它形成對位——「借」和「感激」的分量高，「筆記」次之，「很」再次。
每一格都在做這件事
Self-attention 為句中每一個位置各做一次，為其他位置打「相關程度」分數；分數高的多看，低的略過。多頭注意力是同一動作分幾路並行——像四位科任同時讀同一段，各留意修辭、年份、立場、句式，合併後理解更豐富。這也解答 第 2 課 的指代題：處理「他」時，某幾個頭會望向「借了」和「感激」。
Embedding 找的是「意思相近」，不是「條件吻合」——這句話決定了你建知識庫時要不要在提問裡寫明年級和科目。
校本知識庫實測
一間中學把學生手冊、危機程序、評分準則放進知識庫。副校長測「學生打交點算」——口語對書面，用字幾乎不同，但 embedding 把它們放在相近展區，排第一。再測「中三中文科作文評分比重」——系統取回中三英文科準則；兩份文件在 map 上太近，「意思相近」分不開「科目不同」。解法：切段保留科目與年級標示，加重排序（第 16 課）。凡涉及科目、年級、年份的檢索，要在提問或 metadata 寫清楚。
容易走歪的地方
- 錯法：以為 embedding 等於關鍵字搜尋，只是「更聰明一點」。自查：用完全沒有共用字的兩句話（如「暈低」對「身體不適」）測一次；若找得到，就是語意檢索，不是關鍵字。
- 錯法：建知識庫不問供應商有沒有 embedding API，採購時只選對話模型。自查：Anthropic 與 Poe 沒有 embedding 模型；完全停用 OpenAI 的學校要確認 Azure OpenAI 或本地方案是否就緒。
- 錯法：把重要指令埋在長提示中段，以為模型「全部讀過」就會遵守。自查：同一條指令分別放開頭、中段、結尾各試一次，比較輸出差異；通常開頭或結尾明顯較穩。
動手做一次
時間：約 12 分鐘。材料：任何可對話的 AI 工具。
- 把下面六個詞貼進 AI，要求它「按意思接近程度分成兩組，並用一句話說明每組的共同點」：
校長、班主任、校巴、家長日、書包、教務主任 - 再要求它「假設這六個詞在一條由『人』到『物件』的線上，由左排到右，寫出次序」。
- 交出：兩組分類結果 + 排列次序 + 你自己的一句評語：「哪兩個詞你以為會分在同一組，但 AI 分開了？為甚麼？」
做對了：分組合理（校長／班主任／教務主任偏「人」、校巴／書包偏「物件」、家長日偏「活動」）；排列呈現一條連續的「人→活動→物件」軸——這大致就是 embedding 地圖上的一個方向。模組一到此結束；下一課進入模組二，問這些零件上的數字最初怎樣調出來：預訓練。上一課：參數的意義。
這一課的重點
- 能夠用展區地圖的比喻解釋 embedding，並說出它為何是校本知識庫的地基。
- 能夠解釋位置編碼的作用，以及為甚麼次序資訊要另外處理。
- 能夠用總譜對位的比喻解釋 self-attention 與多頭注意力。
- 能夠說出為甚麼語意檢索找得到用字完全不同、但意思相近的段落。
幾條常被問到的問題
Token 是把文字切開之後的碎片，是一個編號；embedding 是這個編號對應的一組座標，用來表示它的意思。可以這樣理解：token 是展品編號，embedding 是這件展品在展區地圖上的位置，而位置反映它跟哪些主題相近。
常見原因有三個：文件切段的位置不理想，把一個完整概念切開了；檢索取回的段落不夠相關；或者相關內容剛好埋在很長的上下文中間。第十六課專門處理切段與重排序，是這個問題的正式解法。
完全不需要。你只需要記住一件事：意思相近的東西在展區地圖上靠得近，而電腦懂得計算「靠得有幾近」。所有語意搜尋、推薦與知識庫檢索，都是建基於這一件事。
- · 文中的價格、功能與規格以上列官方文檔為準。供應商隨時會改，採購之前請自行覆核一次。
- · 文中提及的產品名稱與商標屬各自擁有者所有。Edor.ai 與該等公司沒有合作、代理或贊助關係。
- · 這是為教育用途做的獨立整理，不是採購建議，也不是法律意見。
- · 凡涉及學生個人資料的用法，請先按學校政策與《個人資料（私隱）條例》(PDPO)評估，然後才在校內推行。