聯繫我們

課程簡介

離線 EXO 部署

  • 使用 EXO_OFFLINE 防止運行時存取網際網路。
  • 從受信任的內部鏡像預先載入模型到 EXO_MODELS_READ_ONLY_DIRS。
  • 透過 SHA-256 總和檢查碼和簽署過的模型卡片驗證模型權重完整性。
  • 在沒有 HuggingFace 依賴的情況下,於隔離網路中運行 EXO。

儀表板與 API 存取控制

  • 安裝並配置具有 TLS 終止功能的反向代理(nginx, Caddy)。
  • 為 EXO 儀表板和 REST API 實施基於角色的存取控制。
  • 使用 macOS 鑰匙圈或 Linux pass 儲存 API 認證的密碼。
  • 將管理端點限制於特定的來源 IP 範圍。

叢集隔離與網路安全

  • 使用 EXO_LIBP2P_NAMESPACE 和 VLAN 分割 EXO 叢集。
  • 為 EXO 連接埠配置主機防火牆(macOS 應用程式防火牆、iptables, nftables)。
  • 防止未經授權的裝置發現和惡意節點注入。
  • 在 RDMA 不可用時加密節點之間的 libp2p 通訊。

模型治理與來源證明

  • 建立包含經核准模型清單和元資料的內部模型註冊表。
  • 對量化權重(4位元、8位元)及原始檢查點進行標籤和版本管理。
  • 強制執行僅允許載入特定的 HuggingFace 儲存庫或內部資產。
  • 記錄模型系譜、授權條款和可接受使用政策。

審計日誌與合規性

  • 配置 EXO 日誌轉發至不可變審計軌跡(SIEM, WORM 儲存)。
  • 將 API 呼叫日誌與使用者身分和時間戳記關聯。
  • 捕捉模型實例的建立、刪除以及推理請求事件。
  • 為內部和外部審計員生成定期合規報告。

威脅建模與事故回應

  • 識別威脅:透過模型輸出、提示注入、側通道洩漏進行的資料外洩。
  • 實施提示監控和內容過濾管線。
  • 為叢集受脅情況創建事故回應作業手冊。
  • 隔離受影響的節點、保留法證日誌,並重建乾淨的環境。

實體安全與硬體邊界

  • 保護 Thunderbolt 連接埠免受未經授權的 RDMA 電纜連線。
  • 在適用的情況下使用安全飛地(secure enclaves)和 Apple Silicon 硬體認證。
  • 控制叢集化 Mac 電腦和共用儲存的實體存取。
  • 記錄硬體生命週期和除役程序。

法規考量

  • 將 EXO 部署映射至 GDPR、HIPAA 和 SOC 2 要求。
  • 透過在本地保留推理來維持資料居住性(data residency)。
  • 記錄供應商供應鏈風險(MLX, EXO, 模型權重)。
  • 準備應對如歐盟 AI Act 第 53 條等人工智慧治理框架。

最低要求

  • 具有 EXO 或其他本地大型語言模型運行時的經驗。
  • 了解 Unix 檔案系統權限和網路存取控制清單 (ACL)。
  • 熟悉 TLS/SSL 憑證管理與加密基礎知識。

受眾

  • 安全工程師。
  • 合規官。
  • 處理敏感資料的人工智慧基礎設施管理員。
 14 小時

客戶評論 (1)

課程分類