聯繫我們

課程簡介

EXO 基礎設施即程式碼

  • 概述 EXO 部署模式:單節點、多節點與 RDMA 叢集
  • 使用配置管理自動化依賴項安裝(Xcode、uv、Node.js、Rust)
  • 利用 Nix flakes 建立可複現的 EXO 建構與開發環境
  • 編寫 Ansible playbook 或 shell 腳本以實現無人值守叢集配置

可複現建構與 CI 整合

  • 鎖定依賴項並在 CI 管道中建置儀表板
  • 在 GitHub Actions 或 GitLab CI runner 中運行 EXO 煙霧測試
  • 為 macOS 和 Linux VM 建立黃金映像檔與基於快照的回滾工作流
  • 將自訂模型卡與應用程式程式碼一同進行版本控制

叢集發現與網路自動化

  • 配置 mDNS 和靜態 DNS 以實現可靠的 libp2p 節點發現
  • 自動化 macOS 上的網路配置文件建立與 Thunderbolt 橋接管理
  • 使用自訂命名空間(EXO_LIBP2P_NAMESPACE)分離開發、預發布與生產叢集
  • 針對多租戶環境設定防火牆規則與網路分段

儲存與模型生命週期管理

  • 設計 EXO_MODELS_DIRS 和 EXO_MODELS_READ_ONLY_DIRS 策略
  • 將 NFS 或 SAN 共用掛載為唯讀模型儲存庫,以實現快速配置
  • 執行陳舊快取清理與版本化權重保留政策
  • 在滾動更新前自動化模型預下載與健康檢查

監控與告警

  • 將 EXO 日誌傳輸至集中式日誌系統(ELK、Loki 或 Splunk)
  • 基於 EXO_TRACING_ENABLED 輸出構建 Grafana 儀表板
  • 針對叢集成員資格變更、OOM 事件及推理延遲尖峰設定告警
  • 關聯 macmon 硬體遥測數據與模型效能衰退情況

更新、回滾與災害復原

  • 在全面展開部署前,於預覽節點進行 EXO 二進位檔更新的測試
  • 模型層級回滾:在不重新下載的情況下切換至量化版本
  • 備份與還原叢集狀態、自訂命名空間以及快取權重
  • 編寫用於全面重建場景的復原操作手冊

安全強化與合規性

  • 在儀表板和 API 的反向代理層(nginx、traefik)應用 TLS
  • 實施 EXO 端點的 API 速率限制和 IP 白名單機制
  • 透過 VLAN 和零信任網路政策隔離叢集
  • 審計存取權限並維護已部署模型及其版本的清單

最低要求

  • 具備 DevOps 實踐經驗(CI/CD、IaC、容器編排)
  • 熟悉 macOS 或 Linux 系統管理與套件管理
  • 理解網路、DNS 和儲存概念的基礎知識

受眾對象

  • DevOps 工程師
  • 基礎架構架構師
  • 負責內部部署 AI 工作負載的 SRE 人員
 21 小時

客戶評論 (2)

課程分類