聯繫我們
 課程時長 14 時間:

課程簡介

準備機器學習模型以進行部署

  • 使用 Docker 打包模型
  • 從 TensorFlow 和 PyTorch 導出模型
  • 版本控制與存儲考量

Kubernetes 上的模型服務

  • 推斷服務器概覽
  • 部署 TensorFlow Serving 和 TorchServe
  • 設置模型端點

推斷優化技術

  • 批處理策略
  • 並發請求處理
  • 延遲與吞吐量調整

自動縮放機器學習工作負載

  • 水平 Pod 自動縮放器 (HPA)
  • 垂直 Pod 自動縮放器 (VPA)
  • Kubernetes 事件驅動自動縮放 (KEDA)

GPU 配置與資源管理

  • 配置 GPU 節點
  • NVIDIA 設備插件概覽
  • 機器學習工作負載的資源請求與限制

模型發布與發行策略

  • 藍綠部署
  • 金丝雀發布模式
  • 用於模型評估的 A/B 測試

生產環境中機器學習的監控與可觀察性

  • 推斷工作負載的指標
  • 日誌記錄與跟踪實踐
  • 儀表板與告警

安全與可靠性考量

  • 保護模型端點
  • 網絡策略與訪問控制
  • 確保高可用性

總結與下一步行動

最低要求

  • 了解容器化應用工作流
  • 具備基於 Python 的機器學習模型經驗
  • 熟悉 Kubernetes 基礎知識

目標受眾

  • 機器學習工程師
  • DevOps 工程師
  • 平台工程團隊

客戶評論 (4)

課程分類