聯繫我們

課程簡介

準備機器學習模型以進行部署

  • 使用 Docker 封裝模型
  • 從 TensorFlow 和 PyTorch 匯出模型
  • 版本控制和儲存考量

Kubernetes 上的模型服務

  • 推理伺服器概覽
  • 部署 TensorFlow Serving 和 TorchServe
  • 設定模型端點

推理最佳化技術

  • 批次處理策略
  • 並行請求處理
  • 延遲與吞吐量調優

ML 工作負載自動擴展

  • 水平 Pod 自動擴展器 (HPA)
  • 垂直 Pod 自動擴展器 (VPA)
  • Kubernetes 事件驅動自動擴展 (KEDA)

GPU 配置與資源管理

  • 配置 GPU 節點
  • NVIDIA device plugin 概覽
  • ML 工作負載的資源請求與限制

模型發布與發佈策略

  • 藍/綠部署
  • 灰度發佈模式
  • 用於模型評估的 A/B 測試

生產環境中 ML 的監控與可觀測性

  • 推理工作負載的指標
  • 日誌記錄和追蹤實踐
  • 儀表板和警報

安全與可靠性考量

  • 保護模型端點
  • 網絡策略和存取控制
  • 確保高可用性

總結和下一步

最低要求

  • 了解容器化應用工作流程
  • 具備 Python 機器學習模型的經驗
  • 熟悉 Kubernetes 基本知識

對象

  • ML 工程師
  • DevOps 工程師
  • 平台工程團隊
 14 小時

客戶評論 (3)

課程分類