聯繫我們

課程簡介

EXO 和本地 AI 集群入門

  • EXO 框架和 exo-explore 生態系統概述
  • 集中式雲推理與分佈式本地推理比較
  • 架構:libp2p 設備發現、MLX 後端、儀表板和 API 層
  • 硬件需求:Apple Silicon(M3 Ultra, M4 Pro/Max)、Thunderbolt 5、共享存儲

在 macOS 上安裝 EXO

  • 設置 Xcode、Metal ToolChain 和 macOS 先決條件
  • 安裝 uv、Node.js、Rust nightly 工具鏈
  • 安裝用於 Apple Silicon 監控的固定 macmon fork
  • 克隆存儲庫並使用 npm 構建儀表板
  • 從源運行 EXO 並驗證 localhost:52415 儀表板

在 Linux 上安裝 EXO

  • 通過 apt 或 Homebrew 在 Linux 上安裝依賴項
  • 配置 uv、Node.js 18+ 和 Rust nightly
  • 構建儀表板並在僅 CPU 模式下運行 EXO
  • 目錄佈局:用於配置、數據、緩存和日誌的 XDG Base Directory 路徑

自動設備發現和集群形成

  • 了解基於 libp2p 的本地網絡自動發現
  • 使用 EXO_LIBP2P_NAMESPACE 為集群隔離配置自定義命名空間
  • 在儀表板集群視圖中驗證節點成員資格
  • 處理發現失敗和網絡分段問題

啟用 Thunderbolt 5 上的 RDMA

  • RDMA 架構聲稱降低 99% 延遲
  • 在 macOS Recovery 模式下使用 rdma_ctl 啟用 RDMA
  • Mac Studio 的電纜要求和端口拓撲約束
  • 確保所有集群節點的 macOS 版本匹配
  • 排除 RDMA 發現和 DHCP 配置的故障

部署前沿模型

  • 使用儀表板加載並分片 DeepSeek v3.1、Qwen3-235B 和 Llama 系列模型
  • 通過 /instance/previews API 端點預覽實例放置
  • 使用流水线或張量並行分片創建模型實例
  • 配置來自 HuggingFace hub 的自定義模型卡

監控和故障排除

  • 閱讀 EXO 日誌並理解分佈式追蹤
  • 解讀儀表板集群視圖中的集群健康狀況
  • 診斷工作節點故障和重新連接行為
  • 使用 EXO_TRACING_ENABLED 進行性能瓶頸分析

集群維護和更新

  • 更新 EXO 二進制文件和儀表板重建程序
  • 通過 NFS 遷移模型緩存並管理預下載的模型
  • 優雅地移除節點和重新平衡工作負載

最低要求

  • 了解網絡基礎知識(IP、子網劃分、防火牆)
  • 具備 macOS 或 Linux 命令行管理經驗
  • 熟悉 Python 包管理(pip/uv)和 Node.js 工具鏈

受眾

  • 系統管理員
  • DevOps 工程師
  • 負責本地 LLM 部署的 AI 基礎設施架構師
 21 小時

課程分類