課程簡介
模塊 1 — 面向安全工程師的 AI 系統
實驗:實驗 01 — 01-介紹
理解架構。
主題:
- LLM 與普通應用程序
- AI 推理管線
- 提示流程
- RAG 架構
- 嵌入/向量數據庫
- 智能代理工作流
- 工具調用
- AI 網關
- 協作助手
- MCP 和代理協議
- WAF 可見性存在的位置
- WAF 可見性消失的位置
關鍵洞察:傳統 WAF 通常在提示到達模型後失去可見性。
模塊 2 — OWASP GenAI Top 10
實驗:無 — 互動回顧/討論
核心 AI 攻擊類別。
主題:
- 提示注入
- 不安全的輸出處理
- 訓練數據投毒
- 模型 DoS
- 供應鏈漏洞
- 敏感信息洩露
- 過度代理權
- 向量/嵌入弱點
- 誤導性信息
- 無邊際消耗
包含:
- 與經典 OWASP 的區別
- 映射到防護控制(WAF、網關、應用層)
- 每個控制如何發揮作用
- 每個控制失效的位置
模塊 3 — 提示注入檢測
實驗:實驗 02 — 02-提示注入
AI 的「SQL 注入時刻」。
主題:
- 直接提示注入
- 間接提示注入
- 隱藏指令
- 基於文檔的攻擊
- HTML/Markdown 注入
- 越獄模式
- 上下文覆蓋攻擊
- 角色混淆攻擊
檢測策略:
- 關鍵詞啟發式方法
- 語義分類
- 提示 linting
- 指令邊界執行
- 允許/拒絕策略
- 感知 AI 的正則表達式模式
實操實驗:
- 攻擊聊天機器人
- 繞過天真過濾
- 構建分層檢測
模塊 4 — 感知 AI 的 WAF 規則
實驗:實驗 03 — 03-WAF 基礎
WAF 規則如何為 AI 系統演變。
- 主題:
- 保護 LLM 端點
- 推理 API 保護
- 令牌感知速率限制
- 提示大小檢查
- 特定於 AI 的簽名
- 對話異常檢測
- 多輪濫用模式
- 模型枚舉嘗試
- 推理爬取
- 拒絕支付保護
示例:
- 保護 /v1/chat/completions
- 防禦流式 API
- 阻止遞歸代理調用
模塊 5 — 保護 RAG 管線
實驗:實驗 04 — 04-RAG 安全
最大的新攻擊面之一。
主題:
- 向量數據庫威脅
- 嵌入投毒
- 惡意 PDF/文檔
- 檢索操縱
- 語義投毒
- 文檔中的隱藏指令
- 跨文檔污染
- 通過檢索洩露數據
防護措施:
- ingestion 清理
- 信任評分
- 元數據隔離
- 文檔來源
- 檢索策略
- 分段
案例研究:「上傳一個投毒的 PDF 並接管 AI 助手。」
模塊 6 — 智能代理 AI 安全
實驗:實驗 05 — 05-代理安全
情況變得危險的地方。
主題:
- 過度代理權
- 工具濫用
- API 鏈接
- 自主循環
- 權限提升
- 內投注毒
- 間接工具執行
- 代理偽裝
- 憑證洩露
- 多代理攻擊
防護措施:
- 代理的最小權限
- 批准閘門
- 運行時策略引擎
- 沙箱化
- 範圍受限的憑證
- 工具白名單
- 人工在環(human-in-the-loop)
這是經理通常最關心的部分,因為風險變得具有操作性且影響業務。
模塊 7 — AI 的 API 安全
實驗:實驗 06 — 06-拒絕支付
AI 系統高度依賴 API。
主題:
- API 網關
- GraphQL AI 風險
- MCP/API 濫用
- JWT 保護
- AI 插件安全
- 代理身份驗證
- 委託授權
- 密鑰管理
- 簽署提示
- AI API 清單
關聯:OWASP API Security Top 10
模塊 8 — 檢測工程 & SOC 集成
實驗:實驗 07 — 07-檢測
操作性防護。
主題:
- AI 遥測
- 提示日誌記錄
- 令牌分析
- 異常檢測
- 語義 SIEM 管線
- AI 攻擊指標
- LLM 濫用威脅狩獵
- AI 運行時可觀察性
示例:
- 檢測越獄活動
- 發現自動代理濫用
- 識別模型爬取
模塊 9 — 雲 WAF 與 AI 安全
實驗:無 — 互動回顧/討論
特定於廠商的實現。
主題:
- AWS WAF for AI APIs
- Azure WAF
- Cloudflare AI Gateway
- API 網關
- Envoy AI 過濾
- Kong AI Gateway
- NGINX AI 安全模式
比較:
- 傳統 WAF vs AI 網關 vs 應用層防護柵欄
- 基於代理的過濾 vs 語義過濾
模塊 10 — 構建分層 AI 防禦
實驗:實驗 08 — 08-分層防禦
重要的哲學結論:
單一防護層無法保護 AI(僅靠 WAF 更不可能)。
學生構建分層模型:
- WAF
- API 網關
- AI 網關
- 防護柵欄
- 運行時監控
- 身份/授權
- 沙箱
- 人工批准
- 可觀察性
- 事件響應
這與「多層安全」模型高度一致。
模塊 ↔ 實驗映射
實驗按實驗順序運行,遵循模塊順序。
課程有 10 個模塊,但只有 8 個實驗:模塊 2 和 9 是互動回顧/討論,沒有實驗。
每個實驗在整個大綱中均標記了其對應的模塊。
- 實驗 01 (模塊 1)
- 資料夾: 01-Introduction
- 標題: 探索 AI 系統 — 線路上的內容
- 實驗 02 (模塊 3)
- 資料夾: 02-Prompt-Injection
- 標題: 攻擊聊天機器人 & 繞過天真過濾
- 實驗 03 (模塊 4)
- 資料夾: 03-WAF-Basics
- 標題: 構建感知 AI 的 WAF 規則
- 實驗 04 (模塊 5)
- 資料夾: 04-RAG-Security
- 標題: 投毒 RAG 管線
- 實驗 05 (模塊 6)
- 資料夾: 05-Agent-Security
- 標題: 保護自主代理
- 實驗 06 (模塊 7)
- 資料夾: 06-Denial-of-Wallet
- 標題: 檢測拒絕支付攻擊
- 實驗 07 (模塊 8)
- 資料夾: 07-Detection
- 標題: 監控日誌中的 AI 濫用模式
- 實驗 08 (模塊 10)
- 資料夾: 08-Layered-Defense
- 標題: 構建分層 AI 防禦架構
巔峰項目
學生防禦模擬的企業 AI 助手。
攻擊者嘗試:
- 提示注入
- 工具濫用
- 憑證竊取
- 檢索投毒
- 過度 API 消耗
- 代理權限提升
團隊構建:
- WAF 規則
- AI 網關策略
- 運行時檢測
- 防護柵欄
- 事件響應
最低要求
- 學生應已理解 HTTP/API 安全、代理/反向代理、身份驗證、OWASP Top 10、REST API 和基本雲網絡
目標受眾
- 安全工程師 & AppSec
- SOC 分析師 & 檢測工程師
- API 安全工程師
- 雲 / API / 平台安全
- DevSecOps 工程師
- 安全架構師
- WAF / 網絡安全專家
- AI 平台工程師
客戶評論 (2)
我非常喜歡學習關於AI攻擊的內容,以及那些可以開始實踐並積極用於安全測試的工具。我學到了很多之前不瞭解的知識,課程也達到了我的期望。培訓中我最喜歡的部分是Comet Browser,它的功能讓我感到驚歎。這絕對是我會進一步研究的內容。總體來說,這是一門很棒的課程,我很享受學習所有OWASP GenAI Top 10的內容。
Patrick Collins - Optum
課程 - OWASP GenAI Security
機器翻譯
他的專業知識以及他在我們面前展示的方式
Miroslav Nachev - PUBLIC COURSE
課程 - Cybersecurity in AI Systems
機器翻譯