聯繫我們

課程簡介

AI 威脅環境

  • 為何 AI 安全不同:非確定性、推理不透明、提示作為攻擊面
  • 攻擊分類學:訓練階段、推理階段與供應鏈攻擊
  • ML 對手模型:誰會攻擊 AI 系統,以及原因

OWASP LLM 應用十大風險

  • 提示注入:直接和間接攻擊向量
  • 不安全輸出處理和跨插件請求偽造
  • 訓練數據投毒和供應鏈漏洞
  • 模型拒絕服務、敏感信息洩露和過度權限
  • 實操實驗室:針對測試應用程序利用每個 OWASP 類別

提示注入與越獄紅隊測試

  • 注入技術分類學:直接、間接、多輪和多模態
  • 使用 Giskard、Garak 和自定義模糊測試工具的自動化紅隊測試
  • 越獄分類與防禦評估
  • 構建紅隊工具包,實現對 LLM 安全的持續測試

模型級攻擊與防禦

  • 模型提取:通過 API 查詢竊取模型權重和功能
  • 成員推斷:確定數據是否在訓練集中
  • 對抗性樣本:誤導分類器和嵌入的擾動
  • 數據投毒:腐蝕訓練數據以植入後門或降低性能

輸入與輸出安全控制

  • 超越傳統 Web 防御的輸入消毒
  • 輸出過濾:毒性、個人身份信息洩露和幻覺代碼執行
  • 將防護欄作為安全基礎設施:NeMo、Guardrails AI 和自定義策略
  • 將結構化輸出強制執行作為安全邊界

AI 供應鏈安全

  • 模型來源證明:驗證模型的真實性和完整性
  • 掃描 ML 框架和模型格式的依賴項
  • 安全的模型服務:沙盒化、網絡隔離和最小權限訪問
  • 對微調模型和社區模型進行審查,以檢測嵌入式惡意軟件

AI 系統的運維安全

  • 對模型端點、向量存儲和代理工具進行訪問控制
  • 為每次模型互動和決策記錄審計日誌
  • 針對 AI 特定泄漏的事件響應:當模型本身被攻陷時
  • 在 ML 管道的 CI/CD 中持續進行安全測試

構建 AI 安全計劃

  • AI 安全成熟度模型與路線圖
  • 將 AI 安全整合至現有的 AppSec 和雲端安全計劃中
  • AI 系統的治理框架及新興法規
  • 創建並維護組織的 AI 安全指南

最低要求

  • 具備在生產環境中部署 ML 模型或 LLM 應用的經驗。
  • 熟悉安全概念,包括身份驗證、授權和威脅建模。
  • 具備 Python 技能,以便進行對抗性測試練習。

受眾

  • 正在擴展至 AI/ML 威脅面的安全工程師。
  • 負責模型安全性和健壯性的 ML 工程師。
  • 將 AI 系統納入測試範圍的紅隊成員。
 14 小時

課程分類