聯繫我們
 課程時長 21 時間:

課程簡介

混合式AI部署基礎

  • 理解混合式、雲端及邊緣部署模型
  • AI工作負載特性及基礎設施限制
  • 選擇合適的部署拓撲結構

使用Docker容器化AI工作負載

  • 構建GPU及CPU推理容器
  • 管理安全鏡像及註冊表
  • 為AI實現可重現的環境

部署AI服務至雲端環境

  • 透過Docker在AWS、Azure及GCP上執行推理
  • 為模型服務配置雲端計算資源
  • 保護基於雲端的AI端點

邊緣及本地機房部署技術

  • 在IoT設備、閘道器及微型伺服器上運行AI
  • 邊緣環境中的輕量級運行時
  • 管理間歇性連接性及本地持久化存儲

混合式網絡及安全連接

  • 邊緣與雲端之間的安全隧道
  • 證書、密鑰及基於令牌的訪問控制
  • 針對低延遲推理的性能調優

編排分散式AI部署

  • 在混合式設置中使用K3s、K8s或輕量級編排工具
  • 服務發現及工作負載調度
  • 自動化多站點發布策略

跨環境監控及可觀測性

  • 追蹤各站點的推理性能
  • 混合式AI系統的中心化日誌記錄
  • 故障檢測及自動恢復

擴展及優化混合式AI系統

  • 擴展邊緣集群及雲端節點
  • 優化頻寬使用及緩存
  • 平衡雲端與邊緣之間的計算負載

總結及後續步驟

最低要求

  • 了解容器化概念
  • 具備Linux命令列操作經驗
  • 熟悉AI模型部署工作流程

適合對象

  • 基礎設施架構師
  • 網站可靠性工程師(SRE)
  • 邊緣及IoT開發人員

客戶評論 (2)

課程分類