學生用 AI 的安全網:四層守門、個人資料保護與教師監察怎樣設計
讓小學生使用 AI,學校最擔心三件事:不當內容、個人資料外洩、無人監察。本文拆解一套可落地的安全架構——輸入守門、系統提示、輸出審核、審計配額——以及 PII 加密、不訓練條款、人工複核與 PDPO 對照的具體做法。
一句話答案:學生 AI 安全不是一個功能,而是一套架構——輸入守門、系統提示、輸出審核、審計配額四層,加上個人資料加密、不訓練條款與人工複核。缺任何一層,學校都在冒不必要的風險。
學校最擔心的三件事
- 不當內容:學生問到暴力、色情或危險行為,AI 會答嗎?
- 個人資料:學生把自己或同學的電話、地址輸入 AI,去了哪裡?
- 無人監察:學生與 AI 的對話,教師看得到嗎?
以下架構逐一回應。
第一層:輸入守門
在訊息送到 AI 之前:
- 偵測不當要求(暴力、自殘、色情、欺凌),學生模式門檻更嚴;
- 偵測個人資料(電話、身份證號、地址),遮蔽後才送出,並提醒學生;
- 偵測越權指令(「忽略之前的規則」「扮演……」),直接拒絕並記錄。
第二層:系統提示
每次呼叫都注入:
- 學校政策(語言、可討論範圍);
- 年齡層(小學 / 中學)與科目脈絡;
- 蘇格拉底式規則(不直接給答案);
- 禁止索取或輸出任何個人資料。
系統提示由管理員集中維護,教師不需要每次撰寫。
第三層:輸出審核
AI 回應返回後:
- 內容安全分類(安全 / 需注意 / 阻擋);
- 「需注意」內容遮蔽敏感部分並顯示提示;
- 「阻擋」內容不顯示,自動標記予管理員;
- 記錄分類結果,供日後審視。
第四層:審計與配額
- 每次 AI 互動記錄:用戶、模組、模型、用量、安全動作;
- 按角色 / 用戶設定每日請求與每月 token 配額,防止濫用;
- 管理員可查閱、匯出審計日誌。
個人資料保護的四個具體做法
| 做法 | 說明 |
|---|---|
| 欄位加密 | 電話、學生編號、家長聯絡、SEN 備註以 AES-256 加密儲存 |
| 不訓練條款 | 只使用供應商「不用於訓練」的 API;合約列明 |
| 最少傳送 | 呼叫 AI 時不傳送學生身份資料,只傳送學習內容 |
| 資料保留 | 對話與 AI 紀錄按設定天數自動清理 |
人工複核:不要「靜靜地刪」
被標記的內容應進入管理員的審核隊列,由人決定:誤判(放行)、需要跟進(通知班主任 / 輔導)、嚴重(按校規處理)。系統記錄每次決定。這既保護學生,也讓學校及早發現需要關心的個案。
教師監察面板
- 即時查看班內學生與 AI 的對話;
- 暫停個別學生的 AI 使用;
- 標記訊息,課後跟進;
- 每週迷思與風險摘要。
PDPO 對照
平台應提供香港《個人資料(私隱)條例》六項保障資料原則的對照文件:收集目的與方式、準確性與保留、使用、保安、透明度、查閱與改正。這份文件是家長會與校董會最常被問到的材料。
給家長的說明
一頁簡明說明:AI 用於什麼、不用於什麼、資料如何保護、教師如何監察、家長如何查詢。透明度本身就是安全的一部分。
小結
安全架構的價值在於「平時看不見,需要時一定在」。四層守門、個人資料加密、人工複核與監察面板齊備,學校才可以放心讓學生每天使用 AI——而家長也才會放心。
常見問題
不夠。過濾器只處理輸出;不當要求、個人資料輸入、越權指令(jailbreak)需要在輸入層處理,校本政策需要在系統提示層,而審計與配額則是事後追溯與限制濫用的保障。
合格的平台只使用「不用於訓練」的 API 條款,並在系統提示禁止 AI 索取或輸出個人資料;個人資料欄位在資料庫加密,呼叫 AI 時不會傳送。
應由學校管理員或指定教師人工複核,系統記錄處理結果。自動刪除會令學校失去了解學生狀況的機會,亦不符合透明原則。
延伸閱讀
本地部署 vs 雲端部署:學校該怎樣選?兩者數據都屬於學校,都可隨時整套下載
比較 AI 學與教平台的本地部署(校內伺服器 / 私有雲)與雲端代管:成本、維護、更新速度、資料所在地、合規與可攜性。結論先講:無論哪一種,數據都屬於學校、隨時可整套下載,並可用學校自有網域接入。
閱讀全文校本知識庫(RAG):讓 AI 引用學校自己的教材與政策,並標明來源
通用 AI 不知道你學校的校規、課程進度與通告格式。校本知識庫以 RAG(檢索增強生成)讓 AI 在回答前先檢索學校文件,並在答案中標明來源。本文說明原理、應放什麼文件、權限與匯出,以及教師與行政的六個應用場景。
閱讀全文安全、幻覺與風險控制:提示注入、幻覺後果,以及校本平台必須有的護欄
AI 在通告草稿裏引用了一個格式完全正確、但根本不存在的課程指引編號。這類錯誤不是偶發,而是語言模型的結構性特徵。本文用 OWASP 十大風險與 NIST 風險管理框架為骨架,逐項對照香港學校的真實場景,並列出一個校本 AI 平台必須具備的護欄與稽核安排。
閱讀全文