課程簡介

AI紅隊簡介

  • 瞭解AI威脅環境
  • 紅隊在AI安全中的角色
  • 道德和法律考慮

對抗性機器學習

  • 攻擊類型:規避、投毒、提取、推斷
  • 生成對抗性樣本(如FGSM、PGD)
  • 目標與非目標攻擊及成功指標

測試模型魯棒性

  • 評估擾動下的魯棒性
  • 探索模型盲點和故障模式
  • 壓力測試分類、視覺和NLP模型

紅隊AI管道

  • AI管道的攻擊面:數據、模型、部署
  • 利用不安全的模型API和端點
  • 逆向工程模型行爲和輸出

模擬與工具

  • 使用對抗性魯棒性工具箱(ART)
  • 使用TextAttack和IBM ART進行紅隊測試
  • 沙盒、監控和可觀測性工具

AI紅隊策略與防禦協作

  • 制定紅隊練習和目標
  • 向藍隊傳達發現
  • 將紅隊測試整合到AI風險管理中

總結與下一步

最低要求

  • 瞭解機器學習和深度學習架構
  • 具備Python和ML框架(如TensorFlow、PyTorch)的經驗
  • 熟悉網絡安全概念或進攻性安全技術

受衆

  • 安全研究人員
  • 進攻性安全團隊
  • AI保障和紅隊專業人員
 14 時間:

課程分類