聯繫我們
 課程時長 14 時間:

課程簡介

使用 Docker 進行 AI 推理入門

  • 理解 AI 推理工作負載
  • 容器化推理的優勢
  • 部署場景與限制

建構 AI 推理容器

  • 選擇基礎映像和框架
  • 封裝預訓練模型
  • 結構化推理代碼以適配容器執行

保護容器化 AI 服務

  • 最小化容器攻擊面
  • 管理密鑰和敏感檔案
  • 安全的網絡和 API 暴露策略

便攜部署技術

  • 優化映像以增強便攜性
  • 確保運行時環境的可預測性
  • 跨平台管理依賴項

本地部署與測試

  • 使用 Docker 在本地運行服務
  • 除錯推理容器
  • 測試效能和可靠性

在伺服器和雲端虛擬機上部署

  • 適配容器以適應遠端環境
  • 配置安全的伺服器訪問
  • 在雲端虛擬機上部署推理 API

使用 Docker Compose 處理多服務 AI 系統

  • 協調推理與支援組件
  • 管理環境變數和配置
  • 使用 Compose 擴展微服務

AI 推理服務的監控與維護

  • 日誌記錄和可觀察性方法
  • 偵測推理管道中的故障
  • 更新生產環境中的模型並進行版本控制

總結與後續步驟

最低要求

  • 了解基本的機器學習概念
  • 具備 Python 或後端開發經驗
  • 熟悉基礎容器概念

目標受眾

  • 開發人員
  • 後端工程師
  • 部署 AI 服務的團隊

客戶評論 (2)

課程分類