ML 安全與 AI 紅隊測試培訓
AI 系統引入了新的攻擊面:提示注入、數據投毒、模型提取、對抗性輸入和供應鏈受脅。傳統的應用程式安全是必要的,但不夠充分。ML 安全需要理解經典漏洞類別和 AI 特定威脅,包括 OWASP LLM 應用十大風險。
此培訓為導師指導的實操課程(線上或線下),旨在幫助安全和 ML 工程師識別、測試並防禦對 ML 模型及 LLM 驅動應用的攻擊。
完成此培訓後,參與者將能夠:
- 在 ML 生命週期的各個階段(從訓練到推理)為 AI 系統建立威脅模型。
- 對 LLM 應用執行紅隊測試,包括提示注入和越獄嘗試。
- 檢測並防禦數據投毒、模型提取和成員推斷攻擊。
- 將 OWASP LLM 應用十大風險應用於現實部署場景。
- 實施輸入驗證、輸出過濾和安全防護策略。
- 對模型工件和依賴項進行供應鏈安全評估。
- 構建 AI 安全測試指南,確保持續驗證。
課程形式
- 互動式講座與討論。
- 大量的練習與實踐環節。
- 在實操實驗室環境中進行動手實現。
課程定制選項
- 如需自定義培訓,請聯繫我們安排。
課程簡介
AI 威脅環境
- 為何 AI 安全不同:非確定性、推理不透明、提示作為攻擊面
- 攻擊分類學:訓練階段、推理階段與供應鏈攻擊
- ML 對手模型:誰會攻擊 AI 系統,以及原因
OWASP LLM 應用十大風險
- 提示注入:直接和間接攻擊向量
- 不安全輸出處理和跨插件請求偽造
- 訓練數據投毒和供應鏈漏洞
- 模型拒絕服務、敏感信息洩露和過度權限
- 實操實驗室:針對測試應用程序利用每個 OWASP 類別
提示注入與越獄紅隊測試
- 注入技術分類學:直接、間接、多輪和多模態
- 使用 Giskard、Garak 和自定義模糊測試工具的自動化紅隊測試
- 越獄分類與防禦評估
- 構建紅隊工具包,實現對 LLM 安全的持續測試
模型級攻擊與防禦
- 模型提取:通過 API 查詢竊取模型權重和功能
- 成員推斷:確定數據是否在訓練集中
- 對抗性樣本:誤導分類器和嵌入的擾動
- 數據投毒:腐蝕訓練數據以植入後門或降低性能
輸入與輸出安全控制
- 超越傳統 Web 防御的輸入消毒
- 輸出過濾:毒性、個人身份信息洩露和幻覺代碼執行
- 將防護欄作為安全基礎設施:NeMo、Guardrails AI 和自定義策略
- 將結構化輸出強制執行作為安全邊界
AI 供應鏈安全
- 模型來源證明:驗證模型的真實性和完整性
- 掃描 ML 框架和模型格式的依賴項
- 安全的模型服務:沙盒化、網絡隔離和最小權限訪問
- 對微調模型和社區模型進行審查,以檢測嵌入式惡意軟件
AI 系統的運維安全
- 對模型端點、向量存儲和代理工具進行訪問控制
- 為每次模型互動和決策記錄審計日誌
- 針對 AI 特定泄漏的事件響應:當模型本身被攻陷時
- 在 ML 管道的 CI/CD 中持續進行安全測試
構建 AI 安全計劃
- AI 安全成熟度模型與路線圖
- 將 AI 安全整合至現有的 AppSec 和雲端安全計劃中
- AI 系統的治理框架及新興法規
- 創建並維護組織的 AI 安全指南
最低要求
- 具備在生產環境中部署 ML 模型或 LLM 應用的經驗。
- 熟悉安全概念,包括身份驗證、授權和威脅建模。
- 具備 Python 技能,以便進行對抗性測試練習。
受眾
- 正在擴展至 AI/ML 威脅面的安全工程師。
- 負責模型安全性和健壯性的 ML 工程師。
- 將 AI 系統納入測試範圍的紅隊成員。
需要幫助選擇合適的課程嗎?
macao@nobleprog.com 或 +852 81990613
ML 安全與 AI 紅隊測試培訓 - 詢問
ML 安全與 AI 紅隊測試 - 咨詢詢問
相關課程
ISACA 人工智能安全管理進階 (AAISM)
21 小時AAISM 是一個用於評估、治理和管理人工智慧系統安全風險的進階框架。
此課程為由導師引導的實地培訓(可選線上或現場形式),專為希望為企業人工智慧環境實施有效安全控制和治理實務的高階專業人士而設計。
完成本課程後,學員將具備以下能力:
- 運用業界認可的方法論評估人工智慧安全風險。
- 為負責任的人工智慧部署實施治理模式。
- 確保人工智慧安全政策與組織目標及監管預期保持一致。
- 增強人工智慧驅動運營的韌性與問責機制。
課程形式
- 由專家分析支持的互動式講座。
- 實務工作坊及基於評估的活動。
- 應用真實世界人工智慧治理情境的演練。
課程客製化選項
- 如需符合貴組織人工智慧策略的客製化培訓,請聯絡我們以調整課程內容。
企業領導者的AI治理、合規與安全
14 小時此為由導師主導的現場培訓(澳門,線上或線下),目標受眾為希望了解如何依循歐盟AI法案、GDPR、ISO/IEC 42001及美國總統AI行政命令等新興全球框架,負責任且合規地治理並保障AI系統的初級企業領導者。
完成本培訓後,參與者將能夠:
- 了解跨部門使用AI的法律、倫理與監管風險。
- 詮釋並應用主要的AI治理框架(歐盟AI法案、NIST AI RMF、ISO/IEC 42001)。
- 建立企業部署AI的安全、審計與監督政策。
- 制定第三方與內部AI系統的採購與使用指南。
AI 驅動的可觀測性:從日誌到 LLM 賦能的洞見
14 小時這門在 澳門(線上或線下)舉行的由講師主導的現場培訓,面向希望將 LLM 和 AI 整合到監控、警報和事件分析工作流中的可觀測性和 SRE 工程師。
AIOps 實戰:事件預測與根本原因自動化
14 小時AIOps(IT運營人工智能)日益被用於在事件發生前預測事件,並自動執行根本原因分析(RCA),以減少停機時間並加速解決問題。
此種由講師主導的培訓課程可線上或線下進行。對象為希望利用AIOps工具和機器學習模型實施預測性分析、自動化修復程序,並設計智能RCA工作流程的高階IT專業人士。
完成本課程後,參與者將能夠:
- 構建和訓練機器學習模型以檢測導致系統故障的模式。
- 基於多來源日誌與指標關聯,自動化RCA工作流程。
- 將警報與修復程序整合至現有平台。
- 在生產環境中部署並擴展智能AIOps流程。
課程形式
- 互動式講授與討論。
- 大量練習與實作。
- 在真實實驗室環境中進行實作演練。
課程客製化選項
- 如需針對此課程請求客製化培訓,請聯繫我們安排。
AIOps基礎知識:監控、關聯與智能告警
14 小時AIOps(IT運營的人工智能)是一種將機器學習和分析技術應用於自動化及優化IT運營的做法,特別是在監控、事件檢測和響應方面。
本次由導師親自指導的實時培訓(線上或線下)面向希望實施AIOps技術以關聯指標與日誌、減少告警噪音並通過智能自動化提升可觀測性的中級IT運營專業人員。
培訓結束後,學員將能夠:
- 理解AIOps平台的原則和架構。
- 跨日誌、指標和追蹤數據進行關聯以識別根本原因。
- 通過智能過濾和噪音抑制減少告警疲勞。
- 使用開源或商業工具自動監控和響應事件。
課程形式
- 互動式講授與討論。
- 大量的練習與實操。
- 在實時實驗室環境中進行動手實施。
課程定制選項
- 如需為該課程申請定制化培訓,請聯繫我們安排。
使用開源工具構建 AIOps 數據處理流程
14 小時完全基於開源工具構建的 AIOps 數據處理流程,允許團隊設計具備成本效益且靈活的解決方案,以應對生產環境中的可觀測性、異常偵測和智能告警需求。
這門由講師指導的實作課程(可選擇線上或線下)主要針對進階工程師,協助他們使用 Prometheus、ELK、Grafana 以及自訂機器學習模型等工具,建構並部署端到端的 AIOps 數據處理流程。
完成培訓後,參與者將能夠:
- 僅使用開源元件設計 AIOps 架構。
- 收集和標準化日誌、指標和追蹤的數據。
- 應用機器學習模型偵測異常並預測事故。
- 利用開源工具自動化告警與修復流程。
課程形式
- 互動式授課與討論。
- 大量的練習與實作環節。
- 在實作實驗室環境中進行動手操作。
課程客製化選項
- 如需為本課程申請客製化培訓,請聯絡我們安排。
公共部門的AI風險管理與安全
7 小時人工智慧(AI)為政府機關和部門帶來了新的營運風險維度、治理挑戰及網路安全暴露。
本課程由講師主講,提供線上或線下實訓,針對對AI經驗有限但希望了解如何在政府或監管環境中評估、監控並保障AI系統的公共部門IT與風險專業人員而設計。
完成本課程後,學員將能夠:
- 解讀與AI系統相關的主要風險概念,包括偏差、不可預測性及模型漂移。
- 應用專為AI設計的治理與稽核框架,如NIST AI RMF及ISO/IEC 42001。
- 識別針對AI模型和數據管道的網路安全威脅。
- 建立跨部門的風險管理計畫與AI部署的政策一致性。
課程形式
- 公共部門案例的互動講座與討論。
- AI治理框架練習與政策映射。
- 基於情境的威脅建模與風險評估。
課程自訂選項
- 如需為本課程申請自訂培訓,請聯繫我們安排。
面向安全團隊的 AI 安全
35 小時本課程提供了保護現代基於 AI 的應用程序、API、協作助手和自主代理的實踐入門。參與者將學習 AI 安全如何區別於傳統 Web 安全,探索常見的特定於 AI 的威脅(如提示注入、RAG 投毒和代理濫用),並了解如何使用包括 WAF、AI 網關、API 安全和防護柵欄在内的分層防禦來保護 AI 系統。通過實操實驗和真實案例,學生將獲得識別 AI 攻擊模式、保護基於 LLM 的應用程序以及為生產環境部署有效運行時防護的技能。
AI信任、風險與安全管理(AI TRiSM)介紹
21 小時本課程為講師導航的現場培訓(線上或線下),旨在幫助初級至中級IT專業人員理解並在組織中實施AI TRiSM。
完成此培訓後,學員將能夠:
- 掌握AI信任、風險和安全管理的核心概念及其重要性。
- 識別並減輕與AI系統相關的風險。
- 實施AI的最佳安全實踐。
- 理解AI的合規性和道德考量。
- 制定有效的AI治理和管理策略。
建立安全且負責任的大型語言模型應用
14 小時本課程在 澳門 進行(線上或線下),旨在協助中階至高階的AI開發人員、架構師與產品經理識別降低LLM應用風險,包括提示注入、資料外洩及未經過濾的輸出,同時導入輸入驗證、人機互動監督以及輸出防護等安全控制機制。
完成本培訓後,參與者將能夠:
- 理解LLM系統的核心漏洞。
- 應用安全設計原則於LLM應用程式架構。
- 使用Guardrails AI及LangChain等工具進行驗證、過濾及安全防護。
- 將沙箱技術、紅隊演練及人機互動審查整合至生產級流程中。
構建安全的AI應用程式
21 小時本課程教導軟體開發者如何以安全設計理念建構AI驅動應用程式。學員學習如何保護聊天機器人、協作助手、RAG管線及AI代理,抵禦提示注入、資料毒化、工具濫用、機密洩露及不安全模型輸出等特定於AI的威脅。課程涵蓋安全提示設計、RAG安全、最小權限存取、防護網及紅隊測試,協助開發者在現實環境中建構安全、可靠且具韌性的AI功能。
企業級 AIOps 解決方案:結合 Splunk、Moogsoft 與 Dynatrace
14 小時企業級 AIOps 平台,如 Splunk、Moogsoft 和 Dynatrace,能在大規模 IT 環境中提供強大的異常檢測、告警關聯以及自動化響應能力。
此課程由講師親自指導,提供線上或線下培訓模式。對象為希望將 AIOps 工具整合至現有可觀測性架構與作業工作流程的中階企業 IT 團隊。
完成本培訓後,學員將能夠:
- 配置並整合 Splunk、Moogsoft 和 Dynatrace,建立統一的 AIOps 架構。
- 利用 AI 驅動的分析技術,關聯分散式系統中的指標、日誌與事件。
- 結合內建與自訂工作流程,自動化實現事件偵測、優先級排序及響應。
- 在企業規模下優化效能,降低 MTTR(平均修復時間),並提升作業效率。
課程形式
- 互動式講授與討論。
- 大量的練習與實作機會。
- 在即時實驗室環境中進行動手實作。
課程客製化選項
- 如需此課程的客製化培訓,請聯絡我們安排。
使用 Prometheus、Grafana 和機器學習實現 AIOps
14 小時Prometheus 和 Grafana 是現代基礎設施可觀測性領域廣泛採用的工具。機器學習則透過預測性和智能洞察增強這些工具,從而自動化操作決策。
本課程為講師主導的現場培訓(線上或線下),旨在幫助具備中級技能的可觀測性專業人員,通過整合 AIOps 實踐以及使用 Prometheus、Grafana 和機器學習技術,現代化其監控基礎設施。
完成本培訓後,參與者將能夠:
- 配置 Prometheus 和 Grafana 以實現系統和服務的可觀測性。
- 收集、存儲並可視化高質量的時間序列數據。
- 應用機器學習模型進行異常檢測和預測。
- 基於預測洞察構建智能警報規則。
課程形式
- 互動式講座與討論。
- 大量的練習與實操。
- 在實驗環境中進行動手實施。
課程定制選項
- 如需請求本課程的定制培訓,請聯繫我們以安排。
LLMOps:生產環境中的大語言模型營運與治理
14 小時本培訓由講師主講,以線上或線下形式於 澳門 進行,旨在協助 ML 工程師與平台團隊建立可擴充且穩健的操作管道,用於大規模部署 LLM 驅動的應用程式。