OWASP GenAI 安全培訓

第一天：基礎與核心威脅

模塊 1：OWASP GenAI 安全項目介紹（1 小時）

學習目標：

• 理解從 OWASP Top 10 到 GenAI 特定安全挑戰的演變
• 探索 OWASP GenAI 安全項目生態系統和資源
• 識別傳統應用安全與 AI 安全之間的關鍵差異

涵蓋內容：

• OWASP GenAI 安全項目使命和範圍概覽
• 威脅防禦 COMPASS 方法論介紹
• 理解 AI 安全格局和法規要求
• AI 攻擊面與傳統 Web 應用漏洞的對比

實操練習： 設置 OWASP 威脅防禦 COMPASS 工具並進行初步威脅評估

模塊 2：OWASP LLM Top 10 - 第一部分（2.5 小時）

學習目標：

• 掌握前五個關鍵 LLM 漏洞
• 理解攻擊向量和利用技術
• 應用實操緩解策略

涵蓋內容：

LLM01：提示詞注入

• 直接和間接提示詞注入技術
• 隱藏指令攻擊和跨提示詞污染
• 實操示例：越獄聊天機器人並繞過安全措施
• 防禦策略：輸入清理、提示詞過濾、差分隱私

LLM02：敏感信息披露

• 訓練數據提取和系統提示詞洩露
• 用於敏感信息曝光的模型行為分析
• 隱私影響和法規合規考量
• 緩解措施：輸出過濾、訪問控制、數據匿名化

LLM03：供應鏈漏洞

• 第三方模型依賴和插件安全
• 受損訓練數據集和模型投毒
• AI 組件的供應商風險評估
• 安全的模型部署和驗證實踐

實操練習： 展示針對脆弱 LLM 應用的提示詞注入攻擊並實施防禦措施的實操實驗室

模塊 3：OWASP LLM Top 10 - 第二部分（2 小時）

涵蓋內容：

LLM04：數據和模型投毒

• 訓練數據操縱技術
• 通過受毒輸入修改模型行為
• 後門攻擊和數據完整性驗證
• 預防措施：數據驗證管道、來源追蹤

LLM05：不當的輸出處理

• LLM 生成內容的不安全處理
• 通過 AI 生成輸出的代碼注入
• 通過 AI 響應的跨站腳本攻擊
• 輸出驗證和清理框架

實操練習： 模擬數據投毒攻擊並實施強大的輸出驗證機制

模塊 4：高級 LLM 威脅（1.5 小時）

涵蓋內容：

LLM06：過度代理

• 自主決策風險和邊界違規
• 智能體權限和許可管理
• 未預期的系統交互和特權提升
• 實施防護柵欄和人工監督控制

LLM07：系統提示詞洩露

• 系統指令曝光漏洞
• 通過提示詞洩露憑證和邏輯
• 提取系統提示詞的攻擊技術
• 保護系統指令和外部配置

實操練習： 設計具有適當訪問控制和監控的安全智能體架構

第二天：高級威脅與實施

模塊 5：新興 AI 威脅（2 小時）

學習目標：

• 了解前沿 AI 安全威脅
• 實施先進檢測和預防技術
• 設計能抵禦複雜攻擊的彈性 AI 系統

涵蓋內容：

LLM08：向量和嵌入弱點

• RAG 系統漏洞和向量數據庫安全
• 嵌入投毒和相似性操縱攻擊
• 語義搜索中的對抗樣例
• 保護向量存儲並實施異常檢測

LLM09：誤信息和模型可靠性

• 幻覺檢測和緩解
• 偏差放大和公平性考量
• 事實核查和來源驗證機制
• 內容驗證和人工監督整合

LLM10：無界消費

• 資源耗盡和拒絕服務攻擊
• 速率限制和資源管理策略
• 成本優化預算控制
• 性能監控和警報系統

實操練習： 構建帶有向量數據庫保護和幻覺檢測的安全 RAG 管道

模塊 6：智能體 AI 安全（2 小時）

學習目標：

• 理解自主 AI 智能體的獨特安全挑戰
• 在實際系統中應用 OWASP 智能體 AI 分類法
• 實施多智能體環境的安全控制措施

涵蓋內容：

• 智能體 AI 和自主系統介紹
• OWASP 智能體 AI 威脅分類法：智能體設計、記憶、規劃、工具使用、部署
• 多智能體系統安全和協調風險
• 工具濫用、記憶投毒和目標劫持攻擊
• 保護智能體通信和決策過程

實操練習： 使用 OWASP 智能體 AI 分類法對多智能體客戶服務系統進行威脅建模練習

模塊 7：OWASP 威脅防禦 COMPASS 實施（2 小時）

學習目標：

• 掌握威脅防禦 COMPASS 的實操應用
• 將 AI 威脅評估整合到組織安全計劃中
• 制定全面的 AI 風險管理策略

涵蓋內容：

• 深入探討威脅防禦 COMPASS 方法論
• OODA 循環整合：觀察、定位、決策、行動
• 將威脅映射到 MITRE ATT&CK 和 ATLAS 框架
• 構建 AI 威脅韌性策略儀表板
• 與現有安全工具和流程整合

實操練習： 針對 Microsoft Copilot 部署場景使用 COMPASS 完成威脅評估

模塊 8：實操實施與最佳實踐（2.5 小時）

學習目標：

• 從頭設計安全的 AI 架構
• 實施 AI 系統的監控和應急響應
• 建立 AI 安全治理框架

涵蓋內容：

安全 AI 開發生命週期：

• AI 應用的內置安全原則
• LLM 整合的代碼審查實踐
• 測試方法論和漏洞掃描
• 部署安全和生產環境加固

監控與檢測：

• AI 特定的日誌記錄和監控要求
• AI 系統的異常檢測
• AI 安全事件的應急響應程序
• 法證調查技術

治理與合規：

• AI 風險管理框架和政策
• 法規合規考量（GDPR、AI 法案等）
• AI 供應商的第三方風險評估
• AI 開發團隊的安全意識培訓

實操練習： 為企業 AI 聊天機器人設計完整的安全架構，包括監控、治理和應急響應程序

模塊 9：工具與技術（1 小時）

學習目標：

• 評估和實施 AI 安全工具
• 了解當前 AI 安全解決方案格局
• 構建實操檢測和預防能力

涵蓋內容：

• AI 安全工具生態系統和供應商格局
• 開源安全工具：Garak、PyRIT、Giskard
• AI 安全和監控的商業解決方案
• 整合模式和部署策略
• 工具選擇標準和評估框架

實操練習： AI 安全測試工具的實操演示和實施規劃

模塊 10：未來趨勢與總結（1 小時）

學習目標：

• 了解新興威脅和未來的安全挑戰
• 制定持續學習和提升策略
• 為組織 AI 安全計劃制定行動計劃

涵蓋內容：

• 新興威脅：深度偽造、高級提示詞注入、模型反轉
• 未來 OWASP GenAI 項目的發展和路線圖
• 構建 AI 安全社區和知識共享
• 持續改進和威脅情報整合

行動規劃練習： 制定實施 OWASP GenAI 安全實踐的 90 天行動計劃，適用於參與者所在的組織