感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
離線 EXO 部署
- 使用 EXO_OFFLINE 防止運行時存取網際網路。
- 從受信任的內部鏡像預先載入模型到 EXO_MODELS_READ_ONLY_DIRS。
- 透過 SHA-256 總和檢查碼和簽署過的模型卡片驗證模型權重完整性。
- 在沒有 HuggingFace 依賴的情況下,於隔離網路中運行 EXO。
儀表板與 API 存取控制
- 安裝並配置具有 TLS 終止功能的反向代理(nginx, Caddy)。
- 為 EXO 儀表板和 REST API 實施基於角色的存取控制。
- 使用 macOS 鑰匙圈或 Linux pass 儲存 API 認證的密碼。
- 將管理端點限制於特定的來源 IP 範圍。
叢集隔離與網路安全
- 使用 EXO_LIBP2P_NAMESPACE 和 VLAN 分割 EXO 叢集。
- 為 EXO 連接埠配置主機防火牆(macOS 應用程式防火牆、iptables, nftables)。
- 防止未經授權的裝置發現和惡意節點注入。
- 在 RDMA 不可用時加密節點之間的 libp2p 通訊。
模型治理與來源證明
- 建立包含經核准模型清單和元資料的內部模型註冊表。
- 對量化權重(4位元、8位元)及原始檢查點進行標籤和版本管理。
- 強制執行僅允許載入特定的 HuggingFace 儲存庫或內部資產。
- 記錄模型系譜、授權條款和可接受使用政策。
審計日誌與合規性
- 配置 EXO 日誌轉發至不可變審計軌跡(SIEM, WORM 儲存)。
- 將 API 呼叫日誌與使用者身分和時間戳記關聯。
- 捕捉模型實例的建立、刪除以及推理請求事件。
- 為內部和外部審計員生成定期合規報告。
威脅建模與事故回應
- 識別威脅:透過模型輸出、提示注入、側通道洩漏進行的資料外洩。
- 實施提示監控和內容過濾管線。
- 為叢集受脅情況創建事故回應作業手冊。
- 隔離受影響的節點、保留法證日誌,並重建乾淨的環境。
實體安全與硬體邊界
- 保護 Thunderbolt 連接埠免受未經授權的 RDMA 電纜連線。
- 在適用的情況下使用安全飛地(secure enclaves)和 Apple Silicon 硬體認證。
- 控制叢集化 Mac 電腦和共用儲存的實體存取。
- 記錄硬體生命週期和除役程序。
法規考量
- 將 EXO 部署映射至 GDPR、HIPAA 和 SOC 2 要求。
- 透過在本地保留推理來維持資料居住性(data residency)。
- 記錄供應商供應鏈風險(MLX, EXO, 模型權重)。
- 準備應對如歐盟 AI Act 第 53 條等人工智慧治理框架。
最低要求
- 具有 EXO 或其他本地大型語言模型運行時的經驗。
- 了解 Unix 檔案系統權限和網路存取控制清單 (ACL)。
- 熟悉 TLS/SSL 憑證管理與加密基礎知識。
受眾
- 安全工程師。
- 合規官。
- 處理敏感資料的人工智慧基礎設施管理員。
14 小時
客戶評論 (1)
培訓師對Fortigate非常瞭解,內容講解得非常出色。非常感謝Soroush。
Colin Donohue - Technological University of the Shannon: Midlands Midwest
課程 - FortiGate 7.4 Administration
機器翻譯