聯繫我們

課程簡介

模組 1 — AI應用程式如何崩潰

實驗室:無——架構 walkthrough 與討論

建構者對攻擊面的心智模型。

主題:

  • 從開發者角度看LLM、RAG及代理架構
  • AI功能的請求/回應生命週期
  • 提示流程:系統、開發者、用戶及工具訊息
  • 不可信數據進入(及重新進入)模型的環節
  • 開發者掌控 vs. 繼承的信任邊界
  • 為何AI攻擊是語義上的,而非語法上的
  • 將OWASP LLM Top 10映射至所寫的程式碼

關鍵見解:任何不可信文字到達模型之處,或模型輸出到達程式碼之處,皆為你掌控的邊界。

模組 2 — 建構者的提示注入

實驗室:實驗室 01 — 01-Prompt-Injection

AI領域的「SQL注入時刻」——但你無法完全逃脫它。

主題:

  • 直接與間接提示注入
  • 文件、網頁、工具輸出中的隱藏指令
  • 越獄(Jailbreaks)及角色混淆
  • 為何指令/數據分離至關重要
  • 防禦性提示設計(分隔符號、結構、最小權限)
  • 為何預防僅是部分的——設計以限制爆發範圍

實作:

  • 攻擊你自身的聊天機器人
  • 繞過天真過濾機制
  • 重構提示以縮小爆發範圍

模組 3 — 將模型輸出視為不可信

實驗室:實驗室 02 — 02-Output-Handling

開發者最易低估的錯誤類別。

主題:

  • 將模型輸出作為應用程式其餘部分的不可信輸入
  • 不安全的輸出處理(LLM02):下游XSS、SSRF、命令/SQL注入
  • 絕對不要評估/執行/渲染原始模型輸出
  • 結構化輸出及Schema驗證
  • 輸出編碼與白名單
  • 在Web/UI情境中安全渲染

實作:

  • 發現並修復不安全輸出處理漏洞
  • 對模型回應強制執行JSON Schema

模組 4 — RAG安全

實驗室:實驗室 03 — 03-RAG-Security

最大的新興攻擊面之一,且由你建構。

主題:

  • 向量資料庫與檢索威脅
  • 輸入清洗
  • 文件憑證與信任評分
  • 檢索範圍設定與中繼資料隔離
  • 檢索內容中的隱藏指令(間接注入)
  • 透過檢索洩漏數據

實作:使用惡意文件毒化RAG管線;新增輸入清洗與檢索範圍設定以進行防禦

模組 5 — 代理與工具安全

實驗室:實驗室 04 — 04-Agent-Safety

錯誤轉化為行動的環節。

主題:

  • 過度代理權限(LLM06)與工具濫用
  • 代理的最小權限
  • 工具白名單與參數驗證
  • 審批閘門與人機協作
  • 工具執行的沙箱化
  • 代理的範圍受限、短生命周期憑證
  • 限制自主循環與鏈式操作

實作:

  • 鎖定過度授權的代理
  • 對危險工具新增白名單與審批閘門

模組 6 — 機密、身份與成本

實驗室:實驗室 05 — 05-Secrets-and-Cost

造成最快損害的營運失誤。

主題:

  • API金鑰與機密管理(絕不出現在提示、程式碼或日誌中)
  • AI功能的每用戶身份驗證與授權
  • 將用戶身份傳遞至工具與檢索
  • 拒絕錢包:無限制令牌/成本消耗
  • 速率限制、令牌預算及超時設定
  • 不洩漏機密或個資的日誌記錄

實作:

  • 將機密移出提示/程式碼路徑
  • 新增每用戶速率限制及令牌/成本預算

模組 7 — 防護網庫

實驗室:實驗室 06 — 06-Guardrails

購買 vs. 自建輸入/輸出安全方案。

主題:

  • 防護網框架的功能與限制
  • 輸入防護網:注入/個資/主題分類器
  • 輸出防護網:驗證、過濾、錨定檢查
  • 何時使用防護網 vs. 自身確定性檢查
  • 將防護網與 earlier modules 的控制措施疊加
  • 效能、誤報及故障模式

實作:

  • 為AI功能新增輸入/輸出防護網層
  • 測量其攔截內容與漏網之魚

模組 8 — 對自身應用程式進行紅隊測試

實驗室:實驗室 07 — 07-Red-Teaming

假設攻擊者已攻破,以此標準發布。

主題:

  • 為AI功能建構濫用/測試套件
  • 自動化提示注入與越獄測試
  • 回歸測試防護網與策略
  • 在CI中執行AI安全檢查
  • 模型與依賴套件供應鏈(憑證、固定版本)
  • AI功能發布前的安全檢查清單

實作:

  • 為AI功能撰寫自動化紅隊測試
  • 將其集成至CI檢查

模組 9 — AI安全評分:SAIS-100框架

實驗室:無——評分練習(使用終極應用程式)

將所建構的一切轉化為可重複的評分。

主題:

  • AI安全六角形:提出六個問題,而非「是否安全?」
  • 六個計分類別(數據、提示、代理、供應鏈、檢測、治理)
  • 100點評量標準及其權重
  • 判決區間與單-category覆蓋規則
  • Elephant Scale Secure AI Score (SAIS-100) 作為品牌化、可重複運行的框架
  • 加固前/後的評分作為指標

實作:

  • 在100點量表上為終極應用程式評分
  • 找出最能提升分數的單一變更

關鍵見解:權重最高的三個類別映射至開發者掌控的信任邊界,因此評分精確衡量本課程所教授的內容。

終極專案

學員全面加固一款刻意存在漏洞的AI應用程式。

starter app 包含:

  • 可注入的提示
  • 不安全的輸出處理
  • 未範圍設定的RAG管線
  • 過度授權的代理
  • 提示路徑中的機密
  • 無成本限制

學員應用所學:

  • 重構提示以實現隔離
  • 驗證並編碼模型輸出
  • 清洗並設定檢索範圍
  • 對代理應用最小權限與審批閘門
  • 移出機密並新增成本/速率限制
  • 新增防護網與自動化紅隊測試

交付成果:加固後的應用程式及一份簡短的OWASP LLM Top 10自我評估。

模組 - 實驗室映射

實驗室依序運行,順序對應模組順序。課程包含9個模組與7個實驗室:模組1為架構walkthrough/討論,模組9為評分練習,因此兩者皆無專屬實驗室資料夾。

  • 實驗室 01 - 01-Prompt-Injection:攻擊聊天機器人 & 設計隔離措施(模組 2)
  • 實驗室 02 - 02-Output-Handling:修復不安全輸出處理錯誤(模組 3)
  • 實驗室 03 - 03-RAG-Security:毒化並防禦RAG管線(模組 4)
  • 實驗室 04 - 04-Agent-Safety:鎖定過度授權的代理(模組 5)
  • 實驗室 05 - 05-Secrets-and-Cost:保護金鑰 + 新增成本防護網(模組 6)
  • 實驗室 06 - 06-Guardrails:新增輸入/輸出防護網層(模組 7)
  • 實驗室 07 - 07-Red-Teaming:CI中的自動化紅隊測試(模組 8)

模組1(AI應用程式如何崩潰)無實驗室——它以架構walkthrough與討論形式進行。模組9(AI安全評分)無實驗室資料夾——它作為對終極應用的評分練習進行。

最低要求

  • 技能等級:中級。
  • 學員應熟練:建構與消費REST API、腳本語言(實驗室使用Python)、基礎應用身份驗證、git及CLI操作。
  • 無需機器學習背景——這是針對使用LLM進行開發的應用程式安全課程,而非模型訓練課程。

適用對象

  • 建構LLM功能的軟體 / 後端工程師
  • 全端與API開發者
  • AI/ML應用工程師
  • 部署協作助手與代理的平台工程師
  • 負責AI功能的技術主管與資深工程師
 21 小時

客戶評論 (2)

課程分類