在生產環境中部署騰訊混元：低延遲推理與成本優化培訓
《在生產環境中部署騰訊混元：低延遲推理與成本優化》是一門實用課程，旨在教授如何大規模可靠地服務騰訊混元模型。
這門由講師指導的實時培訓（線上或線下）針對中級工程師和架構師，希望他們能使用騰訊混元部署大型及MoE模型，以降低延遲、提高GPU利用率並控制運營成本。
完成本培訓後，參與者將能夠：
- 解釋服務騰訊混元模型的主要生產挑戰。
- 應用實際的推理優化技術，如TensorRT、KV緩存調優、量化和批量處理。
- 設計具有自動擴展、監控和容量規劃的可擴展部署方案。
- 改善實戰負載下的延遲與成本平衡。
課程形式
- 互動式講解與討論。
- 大量的練習與實踐環節。
- 在實時實驗環境中進行動手實施。
課程定制選項
- 如需為本課程請求定制化培訓，請聯繫我們以安排。
感謝您提交詢問！我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂！我們的一位團隊成員將在短時間內與您聯繫。
課程時長 14 時間：
課程簡介
騰訊混元生產基礎
- 騰訊混元模型服務場景概覽。
- 大型及MoE模型的生產特性。
- 常見的延遲、吞吐量與成本瓶頸。
- 定義推理負載的服務級目標。
部署架構與服務流程
- 生產推理堆棧的核心組件。
- 在容器化、本地部署與雲端部署模型之間做出選擇。
- 模型加載、請求路由及GPU分配基礎知識。
- 設計可靠性與運營簡潔性。
實踐中的延遲優化
- 在適用時使用如TensorRT等優化推理引擎。
- KV緩存概念及實際緩存調優。
- 減少啟動、預熱與響應開銷。
- 測量首Token時間與Token生成速度。
吞吐量、批處理與GPU效率
- 連續批處理與請求批處理策略。
- 管理併發與隊列行為。
- 在不損害用戶體驗的情況下提高GPU利用率。
- 處理長上下文與混合負載請求。
量化與成本控制
- 量化對於生產服務的重要性。
- FP16、INT8及其他常見精度選項的實際權衡。
- 平衡模型質量、延遲與基礎設施成本。
- 構建簡單的成本優化清單。
運營、監控與就緒性審查
- 推理服務的自動擴展觸發器。
- 監控延遲、吞吐量、緩存使用情況及GPU健康狀況。
- 日誌記錄、警報與事故響應基礎知識。
- 審查參考部署並制定改進計劃。
最低要求
- 具備大型語言模型部署與推理工作流程的基本理解。
- 有容器、雲端或本地基礎設施以及基於API的服務的使用經驗。
- 掌握Python或系統工程任務的工作知識。
目標受眾
- 將LLM部署到生產環境的ML工程師。
- 負責基於GPU的推理服務的架構工程師。
- 設計可擴展AI服務平台的解決方案架構師。
需要幫助選擇合適的課程嗎？
macao@nobleprog.com 或 +852 81990613
在生產環境中部署騰訊混元：低延遲推理與成本優化培訓 - 詢問
在生產環境中部署騰訊混元：低延遲推理與成本優化 - 咨詢詢問
相關課程
進階 LangGraph：優化、除錯與監控複雜圖
35 小時
本講師指導的實地培訓在 澳門 舉行，針對高級 AI 平台工程師、AI DevOps 專員及 ML 架構師，旨在優化、除錯、監控並運維用於有狀態、多參與者 LLM 應用（作為組合式圖）的生產級 LangGraph 系統。
更多...
運用 Devstral 建構編碼智能體：從智能體設計到工具整合
14 小時
在 澳門 舉行的這場實時培訓中，深入掌握 Devstral。課程涵蓋架構、智能體工作流設計及工具整合。該課程適合高級工程師，透過動手實驗，建構能提升現代開發環境中生產力與安全性的編碼智能體。
更多...
開源模型運營：使用 Devstral 與 Mistral 模型實現自我託管、微調與治理
14 小時
這門由講師主導的 澳門 培訓面向希望掌握 Devstral 和 Mistral 模型自我託管和微調的機器學習工程師。參與者將學習實踐性的治理、監控和合規技術，以信心十足地在生產環境中部署開源人工智能。
更多...
金融領域的 LangGraph 應用
35 小時
這門關於 澳門 的講師主導培訓課程，幫助專業人士設計基於 LangGraph 的金融解決方案。參與者將學習實施符合監管要求的工作流、整合數據標準，並部署具備強大治理、可觀察性及合規控制的系統。
更多...
LangGraph 基礎：基於圖的 LLM 提示與鏈接
14 小時
這門由講師帶領的 LangGraph 基礎課程在 澳門 為開發人員配備構建基於圖的 LLM 應用的技能。學習節點和邊、狀態管理和分支邏輯等核心概念。集成工具、檢索和外部 API，然後通過實操實驗室測試和部署可靠的工作流。
更多...
LangGraph 在醫療領域的應用：受監管環境下的工作流程編排
35 小時
通過這門在 澳門 進行的實時培訓，探索 LangGraph 在醫療領域的應用，專為中級至高級專業人士設計。學習設計狀態化、合規的工作流程，集成 FHIR 和 SNOMED CT 等標準，並應對受監管環境中的倫理和運營挑戰。
更多...
LangGraph 在法務應用程式中的應用
35 小時
透過這門 35 小時的講師主導培訓掌握用於法務應用程式的 LangGraph。澳門。此課程旨在幫助中高級專業人員，涵蓋工作流設計、合規控制和人在環審批。自信地構建可審計、生產就緒的 LLM 解決方案。
更多...
利用 LangGraph 與 LLM 智能體構建動態工作流程
14 小時
這門在 澳門 舉行的線上或現場實地課程，指引中級工程師使用 LangGraph 構建動態 LLM 工作流程。學習設計有狀態圖、實施分支邏輯，並整合檢索、API 及記憶，以打造穩健且具情境感知能力的应用程序。
更多...
LangGraph 用於營銷自動化
14 小時
這是由導師帶領的 澳門 培訓課程，介紹 LangGraph 在營銷自動化中的應用。參與者將學習如何設計條件式內容工作流程、整合大型語言模型（LLM）以實現個性化電子郵件營銷活動，並管理跨多步驟管道的狀態，從而獲得現代營銷所需的實戰技能。
更多...
Le Chat Enterprise：私有 ChatOps、整合及管理控制
14 小時
本澳門實時培訓涵蓋 Le Chat Enterprise，這是一項用於安全、受管治對話式 AI 的私有 ChatOps 解決方案。學員將學習其部署、配置及與企業應用程式的整合，並啟用 RBAC、SSO 及基於合規要求的控制措施，以實現可擴展且安全的 AI 工作流程。
更多...
高性價比 LLM 架構：大規模部署 Mistral（效能與成本工程）
14 小時
透過這門 14 小時的實時培訓課程，掌握高性價比的 Mistral LLM 架構 澳門。學習如何部署、優化並擴展 Mistral Medium 3，以實現最大吞吐量並最小化成本，利用批處理、量化及高效服務策略滿足企業級工作負載需求。
更多...
透過 Mistral 連接器與集成實現對話式助理的產品化
14 小時
這項在 澳門 進行的實地培訓涵蓋了將 Mistral 對話式助理集成到企業工作流程的內容。參與者將學習如何連接 SaaS 工具，實施檢索增強生成技術，並為面向客戶及內部的聊天界面設計有效的用戶體驗模式。
更多...
企業級部署：Mistral Medium 3
14 小時
這門在 澳門 舉行的講師帶頭培訓課程，協助高級 AI 工程師部署並保護 Mistral Medium 3。您將學習如何優化推論成本、實現多模態應用場景，並落實企業合規實踐。課程包含針對 API 及自託管設置的動手實驗。
更多...
Mistral 負責任的 AI：隱私、資料 residency 及企業控制
14 小時
這是在 澳門 舉行的 Mistral 負責任 AI 實時培訓，專為合規及安全負責人設計。您將掌握隱私保護技術、數據駐留策略，以及 RBAC 和 SSO 等企業級控制機制，以確保 AI 部署的安全與合規。
更多...
使用Mistral模型構建多模態應用程式（視覺、OCR及文件理解）
14 小時
學習如何使用Mistral模型構建多模態應用程式，重點關注OCR、文件理解及視覺-文本搜索。此實戰培訓涵蓋管道實現、NLP集成及企業級設計，透過線上或澳門方式提供。
更多...
