課程簡介
準備機器學習模型進行部署
- 使用Docker打包模型
- 從TensorFlow和PyTorch導出模型
- 版本控制和存儲注意事項
在Kubernetes上服務模型
- 推理服務器概述
- 部署TensorFlow Serving和TorchServe
- 設置模型端點
推理優化技術
- 批處理策略
- 併發請求處理
- 延遲和吞吐量調優
自動擴展ML工作負載
- 水平Pod自動擴展器(HPA)
- 垂直Pod自動擴展器(VPA)
- Kubernetes事件驅動自動擴展(KEDA)
GPU配置和資源管理
- 配置GPU節點
- NVIDIA設備插件概述
- ML工作負載的資源請求和限制
模型發佈和發佈策略
- 藍/綠部署
- 金絲雀發佈模式
- 用於模型評估的A/B測試
生產環境中的ML監控和可觀測性
- 推理工作負載的指標
- 日誌記錄和跟蹤實踐
- 儀表板和告警
安全性和可靠性考慮
- 保護模型端點
- 網絡策略和訪問控制
- 確保高可用性
總結與下一步
最低要求
- 瞭解容器化應用的工作流程
- 有使用Python機器學習模型的經驗
- 熟悉Kubernetes基礎知識
受衆
- ML工程師
- DevOps工程師
- 平臺工程團隊
客戶評論 (5)
他很有耐心,明白我們落後了
Albertina - REGNOLOGY ROMANIA S.R.L.
課程 - Deploying Kubernetes Applications with Helm
機器翻譯
How Interactive Reda would explain the information and get us to participate. He would also mention interesting facts along the way and share all the knowledge he has. Reda has excellent communication skills which makes online training really effective.
Janine - BMW SA
課程 - Kubernetes Advanced
The training was more practical
Siphokazi Biyana - Vodacom SA
課程 - Kubernetes on AWS
Learning about Kubernetes.
Felix Bautista - SGS GULF LIMITED ROHQ
課程 - Kubernetes on Azure (AKS)
It gave a good grounding for Docker and Kubernetes.