感謝您提交詢問！我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂！我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
離線EXO部署
- 使用EXO_OFFLINE防止運行時訪問互聯網。
- 從可信的內部鏡像預加載模型到EXO_MODELS_READ_ONLY_DIRS。
- 使用SHA-256校驗和和簽名的模型卡片驗證模型權重完整性。
- 在沒有HuggingFace依賴的情況下在隔離網絡中運行EXO。
儀表板和API訪問控制
- 安裝並配置帶有TLS終端的反向代理（nginx、Caddy）。
- 爲EXO儀表板和REST API實施基於角色的訪問控制。
- 使用macOS鑰匙串或Linux pass存儲API身份驗證的密鑰。
- 將管理端點限制在特定的源IP範圍內。
集羣隔離與網絡安全
- 使用EXO_LIBP2P_NAMESPACE和VLAN對EXO集羣進行分段。
- 爲EXO端口配置主機防火牆（macOS應用防火牆、iptables、nftables）。
- 防止未經授權的設備發現和惡意節點注入。
- 在RDMA不可用時加密節點間的libp2p流量。
模型治理與來源
- 構建包含批准模型列表和元數據的內部模型註冊表。
- 標記並版本化量化權重（4位、8位）以及源檢查點。
- 強制僅加載特定的HuggingFace倉庫或內部工件。
- 記錄模型血統、許可條款和可接受的使用策略。
審計日誌與合規性
- 配置EXO日誌轉發到不可變的審計跟蹤（SIEM、WORM存儲）。
- 將API調用日誌與用戶身份和時間戳關聯。
- 捕獲模型實例的創建、刪除和推理請求事件。
- 爲內部和外部審計生成定期合規報告。
威脅建模與事件響應
- 識別威脅：通過模型輸出進行數據泄露、提示注入、側信道泄露。
- 實施提示監控和內容過濾管道。
- 爲集羣被入侵場景創建事件響應手冊。
- 隔離受影響的節點，保留取證日誌並重建乾淨的環境。
物理安全與硬件邊界
- 保護Thunderbolt端口，防止未經授權的RDMA電纜連接。
- 在適用的情況下使用安全飛地和Apple Silicon硬件認證。
- 控制對集羣Mac和共享存儲的物理訪問。
- 記錄硬件生命週期和退役程序。
法規考慮
- 將EXO部署映射到GDPR、HIPAA和SOC 2要求。
- 通過將推理保留在本地來維護數據駐留。
- 記錄供應商供應鏈風險（MLX、EXO、模型權重）。
- 爲EU AI法案第53條等AI治理框架做準備。
最低要求
- 具備EXO或其他本地LLM運行環境的經驗。
- 瞭解Unix文件系統權限和網絡ACL。
- 熟悉TLS/SSL證書管理和加密基礎知識。
受衆
- 安全工程師。
- 合規官。
- 處理敏感數據的AI基礎設施管理員。
14 小時
客戶評論 (1)
培訓師對Fortigate非常瞭解，內容講解得非常出色。非常感謝Soroush。
Colin Donohue - Technological University of the Shannon: Midlands Midwest
課程 - FortiGate 7.4 Administration
機器翻譯
