感謝您提交詢問！我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂！我們的一位團隊成員將在短時間內與您聯繫。
課程時長 14 時間：
課程簡介
部署選項
- 託管 API 與自托管的權衡比較
- 本機、邊緣及隔離環境的部署模式
- 單一模型與模型組合的比較
- 每次決策的成本比較
硬件配置與容量規劃
- 根據參數量評估記憶體佔用
- 純 CPU 與 GPU 加速的比較
- 併發與吞吐量規劃
- 為任務長度增長預留空間
推理服務堆疊
- vLLM 與 SGLang 選項
- llama.cpp 與 GGUF 執行
- 用於本地開發的 Ollama
- 根據決策工作負載特性進行選擇
不損失校準的量化技術
- 精細格式與記憶體節省
- 衡量品質與校準損失
- 逐張量（per-tensor）及重要性感知變種
- 量化後的驗收測試
延遲工程
- 中位數延遲與尾延遲的比較
- 延遲隨上下文長度增長的情況
- 熱啟動與模型緩存
- 批量處理多個決策問題
邊緣與受限環境
- CPU 上的小型決策模型
- Apple Silicon 與嵌入式部署
- 離線運算與更新策略
- 隔離環境下的權重分發
容器化與擴展性
- 模型服務映像檔設計
- 卷掛載與緩存管理
- 水平擴展與路由
- 資源限制與 GPU 共享
可觀測性
- 請求、延遲及錯誤指標
- 置信度分佈監控
- 決策結果與升級追蹤
- 校準漂移告警
版本控制與發布
- 模型與適配器（adapter）版本控制
- 影子部署（shadow）與金丝雀發布（canary deployment）
- 鎖定模型檔案以供審計
- 回滾程序
安全性與多租戶
- 身份驗證與速率限制
- 提示詞與日誌的租戶隔離
- 網絡隔離與出口控制
- 決策審計日誌
最低要求
- 具備 Linux 系統管理與容器相關經驗。
- 熟悉模型推理伺服器及 GPU 管理。
- 了解 REST API、負載平衡及監控的基本概念。
目標受眾
- 負責推理基礎設施的 MLOps 與平台工程師
- 支援 AI 服務的 SRE 團隊
- 在本機環境部署決策模型的 AI 工程師
- 設計隔離或受監管 AI 部署方案的架構師
