聯繫我們

課程簡介

騰訊混元生產基礎

  • 騰訊混元模型服務場景概述
  • 大型模型與MoE模型的生產特性
  • 常見的延遲、吞吐量與成本瓶頸
  • 為推論工作負載定義服務級目標(SLO)

部署架構與服務流程

  • 生產推論堆疊的核心組件
  • 在容器化、本地和雲端部署模式之間做出選擇
  • 模型加載、請求路由和GPU分配基礎知識
  • 設計可靠性與操作簡易性

實戰中的延遲優化

  • 在適用的情況下使用優化的推論引擎,如TensorRT
  • KV-cache概念與實用的緩存調優
  • 減少啟動、預熱和響應開銷
  • 測量首個token時間和token生成速度

吞吐量、批處理與GPU效率

  • 連續批處理和請求批處理策略
  • 管理併發性和隊列行為
  • 在不損害用戶體驗的情況下提高GPU利用率
  • 處理長上下文和混合工作負載的請求

量化與成本控制

  • 量化為何對生產服務至關重要
  • FP16、INT8和其他常見精度選項的實用權衡
  • 平衡模型質量、延遲和基礎設施成本
  • 構建簡單的優化成本檢查清單

操作、監控與就緒性審查

  • 推論服務的自動擴展觸發器
  • 監控延遲、吞吐量、緩存使用情況和GPU健康狀況
  • 日誌記錄、警報和基本事件響應
  • 審查參考部署並制定改進計劃

最低要求

  • 對大型語言模型部署和推論工作流程有基本理解
  • 具備容器、雲端或本地基礎設施以及基於API的服務經驗
  • 熟悉Python或系統工程任務

受眾

  • 將LLM部署至生產環境的ML工程師
  • 負責基於GPU推論服務的平台工程師
  • 設計擴展性AI服務平台的解決方案架構師
 14 小時

課程分類