感謝您提交詢問！我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂！我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
EXO 和本地 AI 集群入門
- EXO 框架和 exo-explore 生態系統概述
- 集中式雲推理與分佈式本地推理比較
- 架構：libp2p 設備發現、MLX 後端、儀表板和 API 層
- 硬件需求：Apple Silicon（M3 Ultra, M4 Pro/Max）、Thunderbolt 5、共享存儲
在 macOS 上安裝 EXO
- 設置 Xcode、Metal ToolChain 和 macOS 先決條件
- 安裝 uv、Node.js、Rust nightly 工具鏈
- 安裝用於 Apple Silicon 監控的固定 macmon fork
- 克隆存儲庫並使用 npm 構建儀表板
- 從源運行 EXO 並驗證 localhost:52415 儀表板
在 Linux 上安裝 EXO
- 通過 apt 或 Homebrew 在 Linux 上安裝依賴項
- 配置 uv、Node.js 18+ 和 Rust nightly
- 構建儀表板並在僅 CPU 模式下運行 EXO
- 目錄佈局：用於配置、數據、緩存和日誌的 XDG Base Directory 路徑
自動設備發現和集群形成
- 了解基於 libp2p 的本地網絡自動發現
- 使用 EXO_LIBP2P_NAMESPACE 為集群隔離配置自定義命名空間
- 在儀表板集群視圖中驗證節點成員資格
- 處理發現失敗和網絡分段問題
啟用 Thunderbolt 5 上的 RDMA
- RDMA 架構聲稱降低 99% 延遲
- 在 macOS Recovery 模式下使用 rdma_ctl 啟用 RDMA
- Mac Studio 的電纜要求和端口拓撲約束
- 確保所有集群節點的 macOS 版本匹配
- 排除 RDMA 發現和 DHCP 配置的故障
部署前沿模型
- 使用儀表板加載並分片 DeepSeek v3.1、Qwen3-235B 和 Llama 系列模型
- 通過 /instance/previews API 端點預覽實例放置
- 使用流水线或張量並行分片創建模型實例
- 配置來自 HuggingFace hub 的自定義模型卡
監控和故障排除
- 閱讀 EXO 日誌並理解分佈式追蹤
- 解讀儀表板集群視圖中的集群健康狀況
- 診斷工作節點故障和重新連接行為
- 使用 EXO_TRACING_ENABLED 進行性能瓶頸分析
集群維護和更新
- 更新 EXO 二進制文件和儀表板重建程序
- 通過 NFS 遷移模型緩存並管理預下載的模型
- 優雅地移除節點和重新平衡工作負載
最低要求
- 了解網絡基礎知識（IP、子網劃分、防火牆）
- 具備 macOS 或 Linux 命令行管理經驗
- 熟悉 Python 包管理（pip/uv）和 Node.js 工具鏈
受眾
- 系統管理員
- DevOps 工程師
- 負責本地 LLM 部署的 AI 基礎設施架構師
21 小時
