課程簡介
第一天:基礎與核心威脅
模組 1:OWASP GenAI 安全項目簡介(1 小時)
學習目標:
- 理解從 OWASP Top 10 到 GenAI 特定安全挑戰的演變過程
- 探索 OWASP GenAI 安全項目生態系統及其資源
- 識別傳統應用安全與 AI 安全之間的主要差異
涵蓋主題:
- OWASP GenAI 安全項目的使命與範圍概覽
- 威脅防禦 COMPASS 框架介紹
- 理解 AI 安全格局及監管要求
- AI 攻擊面與傳統 Web 應用漏洞的對比
實務練習: 設置 OWASP 威脅防禦 COMPASS 工具並執行初步威脅評估
模組 2:OWASP LLM 十大風險 - 第一部分(2.5 小時)
學習目標:
- 掌握前五項關鍵 LLM 漏洞
- 理解攻擊向量與漏洞利用技術
- 應用實用的緩解策略
涵蓋主題:
LLM01:提示詞注入(Prompt Injection)
- 直接與間接提示詞注入技術
- 隱藏指令攻擊與跨提示詞污染
- 實例演示:破解聊天機器人的安全措施
- 防禦策略:輸入清理、提示詞過濾、差異隱私
LLM02:敏感資訊洩露
- 訓練數據提取與系統提示詞洩漏
- 分析模型行為以偵測敏感資訊暴露
- 隱私影響及監管合規考量
- 緩解措施:輸出過濾、訪問控制、數據匿名化
LLM03:供應鏈漏洞
- 第三方模型依賴項及插件安全
- 被竊取的訓練數據集與模型投毒
- AI 組件的供應商風險評估
- 安全的模型部署與驗證實踐
實務練習: 透過實操實驗展示對存在漏洞的 LLM 應用進行提示詞注入攻擊,並實施防禦措施
模組 3:OWASP LLM 十大風險 - 第二部分(2 小時)
涵蓋主題:
LLM04:數據與模型投毒
- 訓練數據操縱技術
- 透過被污染輸入改變模型行為
- 後門攻擊與數據完整性驗證
- 預防措施:數據驗證流程、來源追蹤
LLM05:不當輸出處理
- 對 LLM 生成內容的不安全處理
- 透過 AI 生成輸出進行代碼注入
- 透過 AI 回應進行跨站腳本攻擊(XSS)
- 輸出驗證與清理框架
實務練習: 模擬數據投毒攻擊並實施穩健的輸出驗證機制
模組 4:高級 LLM 威脅(1.5 小時)
涵蓋主題:
LLM06:過度權限(Excessive Agency)
- 自主決策風險及邊界違規
- 代理權限與許可管理
- 非預期的系統交互與權限升級
- 實施護欄機制與人工監督控制
LLM07:系統提示詞洩漏
- 系統指令暴露漏洞
- 透過提示詞洩露憑證與邏輯
- 提取系統提示詞的攻擊技術
- 保護系統指令與外部配置
實務練習: 設計具備適當訪問控制與監控的安全代理架構
第二天:高級威脅與實施
模組 5:新興 AI 威脅(2 小時)
學習目標:
- 理解前沿 AI 安全威脅
- 實施高級偵測與預防技術
- 設計具備韌性的 AI 系統以對抗複雜攻擊
涵蓋主題:
LLM08:向量與嵌入弱點
- RAG 系統漏洞及向量數據庫安全
- 嵌入投毒及相似度操縱攻擊
- 語義搜索中的對抗樣本
- 保護向量存儲並實施異常偵測
LLM09:錯誤資訊與模型可靠性
- 幻覺(Hallucination)偵測與緩解
- 偏見放大與公平性考量
- 事實核查與來源驗證機制
- 內容驗證與人工監督整合
LLM10:無限制資源消耗
- 資源耗盡與拒絕服務(DoS)攻擊
- 速率限制與資源管理策略
- 成本優化與預算控制
- 性能監控與警報系統
實務練習: 構建具備向量數據庫保護及幻覺偵測功能的安全 RAG 管道
模組 6:代理式 AI(Agentic AI)安全(2 小時)
學習目標:
- 理解自主 AI 代理的獨特安全挑戰
- 將 OWASP Agentic AI 分類法應用於實際系統
- 為多代理環境實施安全控制
涵蓋主題:
- Agentic AI 與自主系統介紹
- OWASP Agentic AI 威脅分類法:代理設計、記憶、規劃、工具使用、部署
- 多代理系統安全與協調風險
- 工具誤用、記憶投毒及目標劫持攻擊
- 保護代理通信與決策過程
實務練習: 使用 OWASP Agentic AI 分類法對多代理客服系統進行威脅建模演練
模組 7:OWASP 威脅防禦 COMPASS 實施(2 小時)
學習目標:
- 精通威脅防禦 COMPASS 的實際應用
- 將 AI 威脅評估整合到組織安全計劃中
- 制定全面的 AI 風險管理策略
涵蓋主題:
- 深入解析威脅防禦 COMPASS 方法論
- 整合 OODA 循環:觀察、定向、決策、行動
- 將威脅映射至 MITRE ATT&CK 及 ATLAS 框架
- 構建 AI 威脅韌性策略儀表板
- 與現有安全工具和流程的整合
實務練習: 針對 Microsoft Copilot 部署場景,使用 COMPASS 完成威脅評估
模組 8:實務實施與最佳實踐(2.5 小時)
學習目標:
- 從零開始設計安全的 AI 架構
- 為 AI 系統實施監控與應急響應
- 制定 AI 安全治理框架
涵蓋主題:
安全的 AI 開發生命周期:
- AI 應用的“設計即安全”原則
- LLM 集成部分的代碼審查實踐
- 測試方法論與漏洞掃描
- 部署安全與生產環境加固
監控與偵測:
- AI 專屬的日誌記錄與監控需求
- AI 系統的異常偵測
- AI 安全事件的應急響應程序
- 法醫檢查與調查技術
治理與合規:
- AI 風險管理框架與政策
- 監管合規考量(如 GDPR、AI 法案等)
- AI 供應商第三方風險評估
- AI 開發團隊的安全意識培訓
實務練習: 為企業級 AI 聊天機器人設計完整的安全架構,包括監控、治理及應急響應程序
模組 9:工具與技術(1 小時)
學習目標:
- 評估並實施 AI 安全工具
- 了解當前 AI 安全解決方案格局
- 構建實用的偵測與預防能力
涵蓋主題:
- AI 安全工具生態系統及供應商格局
- 開源安全工具:Garak、PyRIT、Giskard
- 商業化 AI 安全與監控解決方案
- 集成模式與部署策略
- 工具選擇標準與評估框架
實務練習: 演示 AI 安全測試工具的實操並制定實施計劃
模組 10:未來趨勢與總結(1 小時)
學習目標:
- 理解新興威脅及未來安全挑戰
- 制定持續學習與改進策略
- 為組織 AI 安全計劃制定行動計劃
涵蓋主題:
- 新興威脅:深度偽造(Deepfakes)、高級提示詞注入、模型逆推
- 未來 OWASP GenAI 項目的發展與路線圖
- 建立 AI 安全社區與知識共享機制
- 持續改進與威脅情報整合
行動計劃練習: 為學員所在組織制定一份 90 天的行動計劃,以實施 OWASP GenAI 安全實踐
最低要求
- 對 Web 應用安全原理有基本了解
- 熟悉 AI/ML 基本概念
- 具有安全框架或風險評估方法論的相關經驗(優選)
受眾對象
- 網絡安全專業人士
- AI 開發人員
- 系統架構師
- 合規官
- 安全實務人員
客戶評論 (1)
我非常喜歡學習關於AI攻擊的內容,以及那些可以開始實踐並積極用於安全測試的工具。我學到了很多之前不瞭解的知識,課程也達到了我的期望。培訓中我最喜歡的部分是Comet Browser,它的功能讓我感到驚歎。這絕對是我會進一步研究的內容。總體來說,這是一門很棒的課程,我很享受學習所有OWASP GenAI Top 10的內容。
Patrick Collins - Optum
課程 - OWASP GenAI Security
機器翻譯