Kubernetes 上的 AI 工作負載:大規模部署機器學習模型培訓
Kubernetes 是一個用於在生產環境中部署、提供服務及管理機器學習模型的可擴展平台。
這門由導師主導的實時培訓(線上或現場)專為中級專業人員設計,旨在幫助他們在 Kubernetes 上可靠地實現機器學習模型的運營化。
完成本培訓後,參與者將獲得以下技能:
- 將機器學習模型容器化並為高效部署做好準備。
- 使用現代推斷框架提供模型服務。
- 通過自動縮放、GPU 配置及資源調整來優化工作負載。
- 實施 A/B 測試和金丝雀部署等模型發布策略。
課程形式
- 結合講師、架構分析與引導式討論。
- 結合真實部署場景進行大量實操練習。
- 在實時 Kubernetes 環境中進行親手實踐。
課程定製選項
- 如果您需要根據自身環境或工具鏈定制此課程,請聯繫我們討論定制選項。
課程簡介
準備機器學習模型以進行部署
- 使用 Docker 打包模型
- 從 TensorFlow 和 PyTorch 導出模型
- 版本控制與存儲考量
Kubernetes 上的模型服務
- 推斷服務器概覽
- 部署 TensorFlow Serving 和 TorchServe
- 設置模型端點
推斷優化技術
- 批處理策略
- 並發請求處理
- 延遲與吞吐量調整
自動縮放機器學習工作負載
- 水平 Pod 自動縮放器 (HPA)
- 垂直 Pod 自動縮放器 (VPA)
- Kubernetes 事件驅動自動縮放 (KEDA)
GPU 配置與資源管理
- 配置 GPU 節點
- NVIDIA 設備插件概覽
- 機器學習工作負載的資源請求與限制
模型發布與發行策略
- 藍綠部署
- 金丝雀發布模式
- 用於模型評估的 A/B 測試
生產環境中機器學習的監控與可觀察性
- 推斷工作負載的指標
- 日誌記錄與跟踪實踐
- 儀表板與告警
安全與可靠性考量
- 保護模型端點
- 網絡策略與訪問控制
- 確保高可用性
總結與下一步行動
最低要求
- 了解容器化應用工作流
- 具備基於 Python 的機器學習模型經驗
- 熟悉 Kubernetes 基礎知識
目標受眾
- 機器學習工程師
- DevOps 工程師
- 平台工程團隊
需要幫助選擇合適的課程嗎?
macao@nobleprog.com 或 +852 81990613
Kubernetes 上的 AI 工作負載:大規模部署機器學習模型培訓 - 詢問
Kubernetes 上的 AI 工作負載:大規模部署機器學習模型 - 咨詢詢問
客戶評論 (1)
我喜歡培訓中關於Kubernetes的部分,因為我之前處理過K8s pods和ports的任務,現在能更深入了解,感覺很好。謝謝!
Laura Miron - Betfair
課程 - Docker and Kubernetes
機器翻譯
相關課程
進階平台工程:利用微服務與 Kubernetes 實現擴展
35 小時此課程由講師主講,在 澳門 提供線上或線下現場培訓(Live),對象為希望掌握使用微服務和 Kubernetes 擴展應用程式技術的高階平台工程師與 DevOps 專業人員。
完成本培訓後,學員將能夠:
- 設計並實現可擴展的微服務架構。
- 在 Kubernetes 叢集上部署和管理應用程式。
- 運用 Helm 圖表進行高效的服務部署。
- 監控並維持生產環境中微服務的運作狀態。
- 在 Kubernetes 環境中實施安全與合規的最佳實踐。
AI 驅動的 Kubernetes 運維:自動縮放、排程與資源最佳化
21 小時Certified Kubernetes Administrator (CKA) - 考試準備
21 小時Certified Kubernetes Application Developer (CKAD) - 考試準備
21 小時Kubernetes 安全專員認證 (CKS)
21 小時本課程為講師授課的即時培訓 澳門(線上或現場),旨在協助 Kubernetes 實務人員準備 CKS 考試。
完成本培訓後,參與者將了解如何在應用程式生命週期的不同階段(建置、部署及執行期間),保護 Kubernetes 環境及基於容器的應用程式。
雲端原生 DevOps 精通之道:設計、部署與操作可擴展的 Kubernetes 微服務
49 小時此為期 7 天的課程提供全面性的實作旅程,學習如何使用現代 DevOps 實踐來設計、部署和運營雲端原生應用程式。
參與者將探索如何設計可擴展的微服務架構,最佳化容器環境,並使用 Kubernetes 管理生產工作負載。課程涵蓋進階部署策略、基於 GitOps 的自動化以及可觀測性實踐,以確保系統的可靠性與效能。
重點放在真實世界的運營挑戰上,包括事件回應、故障模擬和根本原因分析。此課程最後部分將使用 AI 驅動的工具來支援故障排除並加速運營決策。
培訓結束後,參與者將清楚了解如何在基於 Kubernetes 的環境中構建、部署、監控和維護具韌性的分散式系統。
容器、Kubernetes 與 OpenShift 簡介
35 小時在為開發人員、DevOps 工程師及 IT 專業人員設計的實戰動手培訓中,學習容器、Kubernetes 和 OpenShift 的基礎知識。參與者將學習如何建置容器化應用程式、部署工作負載、管理 Kubernetes 資源,並利用 OpenShift 在雲端與混合環境中優化現代應用程式的交付流程。
使用 Docker、Kubernetes 和 OpenShift 管理容器平台
35 小時学习如何使用 Docker、Kubernetes 和 OpenShift 构建、部署和管理容器化环境。这五天的实战培训涵盖容器镜像、Kubernetes 工作负载、集群网络、存储、安全、监控以及实用的 OpenShift 管理内容。学员将获得运营现代容器平台及在开发与生产环境中排查应用问题所需的技能。
Docker 與 Kubernetes:建置及擴展容器化應用程式
21 小時在本課程中,講師將進行現場培訓(線上或線下)。參與者將學習如何建立及管理 Docker 容器,然後在容器中部署樣本應用程式。參與者還將了解如何在 Kubernetes 叢集中自動化、擴展及管理其容器化應用程式。最後,培訓將涉及更 advanced 的主題,引導參與者完成保護、擴展及監控 Kubernetes 叢集的流程。
參加完本課程後,參與者將能夠:
- 設定並執行 Docker 容器。
- 部署容器化的伺服器及網頁應用程式。
- 建置及管理 Docker 映像檔。
- 設定 Docker 和 Kubernetes 叢集。
- 使用 Kubernetes 部署及管理叢集化的網頁應用程式。
- 保護、擴展及監控 Kubernetes 叢集。
Edge AI 在 Kubernetes 上的應用:於邊緣端部署智慧應用程式
21 小時使用 Helm 部署 Kubernetes 應用程序
7 小時這門在 澳門(線上或線下)進行的由講師親自授課的實時培訓旨在幫助希望利用 Helm 簡化 Kubernetes 應用程序的安裝和管理流程的工程師。
完成此培訓後,參與者將能夠:
- 安裝和配置 Helm。
- 創建可重複的 Kubernetes 應用程序構建。
- 以 Helm charts 形式共享應用程序。
- 運行保存為 Helm charts 的第三方應用程序。
- 管理 Helm 包版本的發布。
使用 Istio 和 Kubernetes 創建服務網格
14 小時Minikube 與 Kubernetes 入門
21 小時這項在 澳門(線上或線下)舉辦的講師指導實地培訓,主要針對初級至中級的軟體開發者及 DevOps 專業人員,協助大家學習如何設定及管理使用 Minikube 的本機 Kubernetes 環境。
完成此培訓後,參與者將能夠:
- 在個人電腦上安裝並配置 Minikube。
- 理解 Kubernetes 的基本概念與架構。
- 透過 kubectl 與 Minikube 儀表板部署及管理容器。
- 為 Kubernetes 設定持久性儲存與網路解決方案。
- 運用 Minikube 開發、測試及除錯應用程式。
Minikube 開發者課程
14 小時此 澳門(線上或線下)由講師帶領的實訓課程,面向希望將 Minikube 納入其開發工作流的初級至中級開發者和 DevOps 工程師。
完成本課程後,參與者將能夠:
- 使用 Minikube 搭建和管理本地 Kubernetes 環境。
- 了解如何在 Minikube 上部署、管理和調試應用程序。
- 將 Minikube 集成到持續集成和持續部署流水線中。
- 利用 Minikube 的高級功能優化開發流程。
- 應用本地 Kubernetes 開發的最佳實踐。