聯繫我們

課程簡介

LLMOps 簡介

  • LLMOps 與 MLOps 的差異:營運 LLM 的獨特挑戰
  • LLM 應用程式生命週期:提示、評估、部署、監控
  • GenAI 應用程式生產就緒檢查清單

提示詞管理與版本控制

  • 提示詞模板系統與變量注入
  • 提示詞的語義版本控制,搭配自動化回歸測試
  • 提示詞登錄檔與協作工作流程

大規模 LLM 評估

  • 評估維度:準確性、關聯性、安全性、可信度
  • 「LLM 作爲裁判」指標與人工評估管道
  • 自動化評估框架:RAGAS、DeepEval 與自訂評估器
  • LLM 部署在 CI/CD 流程中的質量門檻

安全防護與內容治理

  • 輸入與輸出防護:NeMo Guardrails 與 Guardrails AI
  • 個人身份信息(PII)檢測、毒性過濾及主題邊界控制
  • 防禦越獄攻擊與提示詞注入策略
  • 對 LLM 應用程式進行紅隊測試,以確保安全性

LLM 可觀測性與監控

  • 遥測數據:令牌使用量、延遲、成本及質量指標
  • 檢測 LLM 輸出與嵌入空間的漂移現象
  • 多輪代理對話會話級追蹤
  • 使用 LangSmith、Arize 與 OpenTelemetry 建立儀表板與警報機制

AI 網關與模型編排

  • 利用 LiteLLM 和 Portkey 實現多供應商路由
  • 備援策略、重試邏輯與電路斷路器機制
  • 成本感知型模型選擇與負載均衡
  • 速率限制、配額管理,以及 API 金鑰治理

效能優化

  • 結合向量儲存庫的語義快取與精確匹配策略
  • 透過受限解碼實現結構化輸出強制執行
  • 批量處理、串流傳輸及並行模式
  • 跨模型供應商的延遲優化

治理、合規與審計

  • LLM 審計軌跡:提示詞日誌、回應日誌及決策溯源
  • LLM API 的數據留存與隱私考量
  • 企業內部 LLM 使用的策略即代碼(Policy-as-code)
  • 編寫內部 LLM 營運操作手冊

最低要求

  • 具備建構或整合 LLM 驅動應用程式的經驗。
  • 熟悉 Python 程式語言與 REST API。
  • 基礎掌握提示詞工程概念。

適用對象

  • 轉型至 LLM 營運領域的 ML 工程師與 MLOps 從業人員。
  • 負責 LLM 基礎設施的平台工程師。
  • 管理生產環境 GenAI 部署的技術主管。
 14 小時

客戶評論 (2)

課程分類