課程簡介
第1天:基礎知識和核心威脅
模組1:OWASP GenAI 安全項目介紹(1小時)
學習目標:
- 了解從 OWASP Top 10 到 GenAI 特定安全挑戰的演變過程
- 探索 OWASP GenAI 安全項目生態系統和資源
- 識別傳統應用安全與 AI 安全之間的關鍵差異
涵蓋主題:
- OWASP GenAI 安全項目使命和範圍概覽
- Threat Defense COMPASS 框架介紹
- 理解 AI 安全格局和法規要求
- AI 攻擊面 vs. 傳統網絡應用漏洞
實踐練習:設置 OWASP Threat Defense COMPASS 工具並進行初步威脅評估
模組2:LLMs 的 OWASP Top 10 - 第一部分(2.5小時)
學習目標:
- 掌握前五個關鍵 LLM 漏洞
- 理解攻擊向量和利用技術
- 應用實踐緩解策略
涵蓋主題:
LLM01:提示注入
- 直接和間接提示注入技術
- 隱藏指令攻擊和跨提示污染
- 實踐示例:越獄聊天機器人並繞過安全措施
- 防禦策略:輸入清理、提示過濾、差分隱私
LLM02:敏感信息披露
- 訓練數據提取和系統提示洩露
- 模型行為分析以暴露敏感信息
- 隱私影響和法規合規考慮因素
- 緩解措施:輸出過濾、訪問控制、數據匿名化
LLM03:供應鏈漏洞
- 第三方模型依賴性和插件安全
- 受污染的訓練數據集和模型投毒
- AI 組件的供應商風險評估
- 安全的模型部署和驗證實踐
實踐練習:演示對漏洞 LLM 應用的提示注入攻擊及實施防禦措施的動手實驗室
模組3:LLMs 的 OWASP Top 10 - 第二部分(2小時)
涵蓋主題:
LLM04:數據和模型投毒
- 訓練數據操作技術
- 通過受污染輸入修改模型行為
- 後門攻擊和數據完整性驗證
- 預防措施:數據驗證管道、溯源跟蹤
LLM05:不當輸出處理
- 不安全地處理 LLM 生成的內容
- 通過 AI 生成輸出進行代碼注入
- 通過 AI 響應進行跨站腳本攻擊
- 輸出驗證和清理框架
實踐練習:模擬數據投毒攻擊並實施強健的輸出驗證機制
模組4:高級 LLM 威脅(1.5小時)
涵蓋主題:
LLM06:過度代理權限
- 自主決策風險和邊界違規
- 智能體權限和管理
- 非預期的系統交互和特權提升
- 實施防護柵欄和人工監督控制
LLM07:系統提示洩露
- 系統指令暴露漏洞
- 通過提示洩露憑證和邏輯
- 提取系統提示的攻擊技術
- 保護系統指令和外部配置
實踐練習:設計具有適當訪問控制和監控的安全智能體架構
第2天:高級威脅和實施
模組5:新興 AI 威脅(2小時)
學習目標:
- 理解前沿 AI 安全威脅
- 實施高級檢測和預防技術
- 設計抗對付複雜攻擊的韌性 AI 系統
涵蓋主題:
LLM08:向量和嵌入缺陷
- RAG 系統漏洞和向量數據庫安全
- 嵌入投毒和相似度操縱攻擊
- 語義搜索中的對抗樣本
- 保護向量存儲並實施異常檢測
LLM09:誤導信息和模型可靠性
- 幻覺檢測和緩解
- 偏見放大和公平性考慮因素
- 事實核查和來源驗證機制
- 內容驗證和人工監督集成
LLM10:無限制消費
- 資源耗盡和拒絕服務攻擊
- 速率限制和資源管理策略
- 成本優化預算控制
- 性能監控和警報系統
實踐練習:構建具有向量數據庫保護和幻覺檢測的安全 RAG 管道
模組6:智能體 AI 安全(2小時)
學習目標:
- 理解自主 AI 智能體的獨特安全挑戰
- 將 OWASP 智能體 AI 分類法應用於現實世界系統
- 實施多智能體環境的安全控制措施
涵蓋主題:
- 智能體 AI 和自主系統介紹
- OWASP 智能體 AI 威脅分類法:智能體設計、記憶、規劃、工具使用、部署
- 多智能體系統安全和協調風險
- 工具濫用、記憶投毒和目標劫持攻擊
- 保護智能體通信和決策過程
實踐練習:使用 OWASP 智能體 AI 分類法對多智能體客戶服務系統進行威脅建模練習
模組7:OWASP Threat Defense COMPASS 實施(2小時)
學習目標:
- 掌握 Threat Defense COMPASS 的實踐應用
- 將 AI 威脅評估整合到組織安全計劃中
- 開發全面的 AI 風險管理策略
涵蓋主題:
- 深入研究 Threat Defense COMPASS 方法論
- OODA 循環整合:觀察、定位、決策、行動
- 將威脅映射到 MITRE ATT&CK 和 ATLAS 框架
- 構建 AI 威脅韌性策略儀表板
- 與現有安全工具和流程集成
實踐練習:使用 COMPASS 完成 Microsoft Copilot 部署場景的威脅評估
模組8:實用實施和最佳實踐(2.5小時)
學習目標:
- 從頭設計安全 AI 架構
- 實施 AI 系統的監控和應急響應
- 創建 AI 安全的治理框架
涵蓋主題:
安全 AI 開發生命週期:
- AI 應用中的設計時安全原則
- LLM 整合的代碼審查實踐
- 測試方法論和漏洞掃描
- 部署安全和生產強化
監控和檢測:
- AI 特定的日誌記錄和監控要求
- AI 系統的異常檢測
- AI 安全事件的應急響應程序
- 法醫調查技術
治理和合規:
- AI 風險管理框架和政策
- 法規合規考慮因素(GDPR、AI 法案等)
- AI 供應商的第三方風險評估
- AI 開發團隊的安全意識培訓
實踐練習:為企業 AI 聊天機器人設計完整的安全架構,包括監控、治理和應急響應程序
模組9:工具和技術(1小時)
學習目標:
- 評估和實施 AI 安全工具
- 了解當前 AI 安全解決方案格局
- 構建實用的檢測和預防能力
涵蓋主題:
- AI 安全工具生態系統和供應商格局
- 開源安全工具:Garak, PyRIT, Giskard
- 商業 AI 安全和監控解決方案
- 集成模式和部署策略
- 工具選擇標準和評估框架
實踐練習:演示 AI 安全測試工具的實用實施規劃
模組10:未來趨勢和總結(1小時)
學習目標:
- 理解新興威脅和未來安全挑戰
- 開發持續學習和改善策略
- 創建組織 AI 安全計劃的行動計劃
涵蓋主題:
- 新興威脅:深度偽造、高級提示注入、模型反轉
- 未來 OWASP GenAI 項目發展和路線圖
- 建立 AI 安全社區和知識共享
- 持續改進和威脅情報集成
行動規劃練習:制定 90 天行動計劃,以在參與者所在組織實施 OWASP GenAI 安全實踐
最低要求
- 對網絡應用安全原則的一般理解
- 基本熟悉 AI/ML 概念
- 優先考慮具有安全框架或風險評估方法論的經驗
受眾
- 網絡安全專業人員
- AI 開發者
- 系統架構師
- 合規官員
- 安全從業者
客戶評論 (1)
我非常喜歡學習關於AI攻擊的內容,以及那些可以開始實踐並積極用於安全測試的工具。我學到了很多之前不瞭解的知識,課程也達到了我的期望。培訓中我最喜歡的部分是Comet Browser,它的功能讓我感到驚歎。這絕對是我會進一步研究的內容。總體來說,這是一門很棒的課程,我很享受學習所有OWASP GenAI Top 10的內容。
Patrick Collins - Optum
課程 - OWASP GenAI Security
機器翻譯