課程簡介
模組 1 — AI應用程式如何崩潰
實驗室:無——架構 walkthrough 與討論
建構者對攻擊面的心智模型。
主題:
- 從開發者角度看LLM、RAG及代理架構
- AI功能的請求/回應生命週期
- 提示流程:系統、開發者、用戶及工具訊息
- 不可信數據進入(及重新進入)模型的環節
- 開發者掌控 vs. 繼承的信任邊界
- 為何AI攻擊是語義上的,而非語法上的
- 將OWASP LLM Top 10映射至所寫的程式碼
關鍵見解:任何不可信文字到達模型之處,或模型輸出到達程式碼之處,皆為你掌控的邊界。
模組 2 — 建構者的提示注入
實驗室:實驗室 01 — 01-Prompt-Injection
AI領域的「SQL注入時刻」——但你無法完全逃脫它。
主題:
- 直接與間接提示注入
- 文件、網頁、工具輸出中的隱藏指令
- 越獄(Jailbreaks)及角色混淆
- 為何指令/數據分離至關重要
- 防禦性提示設計(分隔符號、結構、最小權限)
- 為何預防僅是部分的——設計以限制爆發範圍
實作:
- 攻擊你自身的聊天機器人
- 繞過天真過濾機制
- 重構提示以縮小爆發範圍
模組 3 — 將模型輸出視為不可信
實驗室:實驗室 02 — 02-Output-Handling
開發者最易低估的錯誤類別。
主題:
- 將模型輸出作為應用程式其餘部分的不可信輸入
- 不安全的輸出處理(LLM02):下游XSS、SSRF、命令/SQL注入
- 絕對不要評估/執行/渲染原始模型輸出
- 結構化輸出及Schema驗證
- 輸出編碼與白名單
- 在Web/UI情境中安全渲染
實作:
- 發現並修復不安全輸出處理漏洞
- 對模型回應強制執行JSON Schema
模組 4 — RAG安全
實驗室:實驗室 03 — 03-RAG-Security
最大的新興攻擊面之一,且由你建構。
主題:
- 向量資料庫與檢索威脅
- 輸入清洗
- 文件憑證與信任評分
- 檢索範圍設定與中繼資料隔離
- 檢索內容中的隱藏指令(間接注入)
- 透過檢索洩漏數據
實作:使用惡意文件毒化RAG管線;新增輸入清洗與檢索範圍設定以進行防禦
模組 5 — 代理與工具安全
實驗室:實驗室 04 — 04-Agent-Safety
錯誤轉化為行動的環節。
主題:
- 過度代理權限(LLM06)與工具濫用
- 代理的最小權限
- 工具白名單與參數驗證
- 審批閘門與人機協作
- 工具執行的沙箱化
- 代理的範圍受限、短生命周期憑證
- 限制自主循環與鏈式操作
實作:
- 鎖定過度授權的代理
- 對危險工具新增白名單與審批閘門
模組 6 — 機密、身份與成本
實驗室:實驗室 05 — 05-Secrets-and-Cost
造成最快損害的營運失誤。
主題:
- API金鑰與機密管理(絕不出現在提示、程式碼或日誌中)
- AI功能的每用戶身份驗證與授權
- 將用戶身份傳遞至工具與檢索
- 拒絕錢包:無限制令牌/成本消耗
- 速率限制、令牌預算及超時設定
- 不洩漏機密或個資的日誌記錄
實作:
- 將機密移出提示/程式碼路徑
- 新增每用戶速率限制及令牌/成本預算
模組 7 — 防護網庫
實驗室:實驗室 06 — 06-Guardrails
購買 vs. 自建輸入/輸出安全方案。
主題:
- 防護網框架的功能與限制
- 輸入防護網:注入/個資/主題分類器
- 輸出防護網:驗證、過濾、錨定檢查
- 何時使用防護網 vs. 自身確定性檢查
- 將防護網與 earlier modules 的控制措施疊加
- 效能、誤報及故障模式
實作:
- 為AI功能新增輸入/輸出防護網層
- 測量其攔截內容與漏網之魚
模組 8 — 對自身應用程式進行紅隊測試
實驗室:實驗室 07 — 07-Red-Teaming
假設攻擊者已攻破,以此標準發布。
主題:
- 為AI功能建構濫用/測試套件
- 自動化提示注入與越獄測試
- 回歸測試防護網與策略
- 在CI中執行AI安全檢查
- 模型與依賴套件供應鏈(憑證、固定版本)
- AI功能發布前的安全檢查清單
實作:
- 為AI功能撰寫自動化紅隊測試
- 將其集成至CI檢查
模組 9 — AI安全評分:SAIS-100框架
實驗室:無——評分練習(使用終極應用程式)
將所建構的一切轉化為可重複的評分。
主題:
- AI安全六角形:提出六個問題,而非「是否安全?」
- 六個計分類別(數據、提示、代理、供應鏈、檢測、治理)
- 100點評量標準及其權重
- 判決區間與單-category覆蓋規則
- Elephant Scale Secure AI Score (SAIS-100) 作為品牌化、可重複運行的框架
- 加固前/後的評分作為指標
實作:
- 在100點量表上為終極應用程式評分
- 找出最能提升分數的單一變更
關鍵見解:權重最高的三個類別映射至開發者掌控的信任邊界,因此評分精確衡量本課程所教授的內容。
終極專案
學員全面加固一款刻意存在漏洞的AI應用程式。
starter app 包含:
- 可注入的提示
- 不安全的輸出處理
- 未範圍設定的RAG管線
- 過度授權的代理
- 提示路徑中的機密
- 無成本限制
學員應用所學:
- 重構提示以實現隔離
- 驗證並編碼模型輸出
- 清洗並設定檢索範圍
- 對代理應用最小權限與審批閘門
- 移出機密並新增成本/速率限制
- 新增防護網與自動化紅隊測試
交付成果:加固後的應用程式及一份簡短的OWASP LLM Top 10自我評估。
模組 - 實驗室映射
實驗室依序運行,順序對應模組順序。課程包含9個模組與7個實驗室:模組1為架構walkthrough/討論,模組9為評分練習,因此兩者皆無專屬實驗室資料夾。
- 實驗室 01 - 01-Prompt-Injection:攻擊聊天機器人 & 設計隔離措施(模組 2)
- 實驗室 02 - 02-Output-Handling:修復不安全輸出處理錯誤(模組 3)
- 實驗室 03 - 03-RAG-Security:毒化並防禦RAG管線(模組 4)
- 實驗室 04 - 04-Agent-Safety:鎖定過度授權的代理(模組 5)
- 實驗室 05 - 05-Secrets-and-Cost:保護金鑰 + 新增成本防護網(模組 6)
- 實驗室 06 - 06-Guardrails:新增輸入/輸出防護網層(模組 7)
- 實驗室 07 - 07-Red-Teaming:CI中的自動化紅隊測試(模組 8)
模組1(AI應用程式如何崩潰)無實驗室——它以架構walkthrough與討論形式進行。模組9(AI安全評分)無實驗室資料夾——它作為對終極應用的評分練習進行。
最低要求
- 技能等級:中級。
- 學員應熟練:建構與消費REST API、腳本語言(實驗室使用Python)、基礎應用身份驗證、git及CLI操作。
- 無需機器學習背景——這是針對使用LLM進行開發的應用程式安全課程,而非模型訓練課程。
適用對象
- 建構LLM功能的軟體 / 後端工程師
- 全端與API開發者
- AI/ML應用工程師
- 部署協作助手與代理的平台工程師
- 負責AI功能的技術主管與資深工程師
客戶評論 (2)
我非常喜歡學習關於AI攻擊的內容,以及那些可以開始實踐並積極用於安全測試的工具。我學到了很多之前不瞭解的知識,課程也達到了我的期望。培訓中我最喜歡的部分是Comet Browser,它的功能讓我感到驚歎。這絕對是我會進一步研究的內容。總體來說,這是一門很棒的課程,我很享受學習所有OWASP GenAI Top 10的內容。
Patrick Collins - Optum
課程 - OWASP GenAI Security
機器翻譯
他的專業知識以及他在我們面前展示的方式
Miroslav Nachev - PUBLIC COURSE
課程 - Cybersecurity in AI Systems
機器翻譯