感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
LLMOps 簡介
- LLMOps 與 MLOps 的差異:營運 LLM 的獨特挑戰
- LLM 應用程式生命週期:提示、評估、部署、監控
- GenAI 應用程式生產就緒檢查清單
提示詞管理與版本控制
- 提示詞模板系統與變量注入
- 提示詞的語義版本控制,搭配自動化回歸測試
- 提示詞登錄檔與協作工作流程
大規模 LLM 評估
- 評估維度:準確性、關聯性、安全性、可信度
- 「LLM 作爲裁判」指標與人工評估管道
- 自動化評估框架:RAGAS、DeepEval 與自訂評估器
- LLM 部署在 CI/CD 流程中的質量門檻
安全防護與內容治理
- 輸入與輸出防護:NeMo Guardrails 與 Guardrails AI
- 個人身份信息(PII)檢測、毒性過濾及主題邊界控制
- 防禦越獄攻擊與提示詞注入策略
- 對 LLM 應用程式進行紅隊測試,以確保安全性
LLM 可觀測性與監控
- 遥測數據:令牌使用量、延遲、成本及質量指標
- 檢測 LLM 輸出與嵌入空間的漂移現象
- 多輪代理對話會話級追蹤
- 使用 LangSmith、Arize 與 OpenTelemetry 建立儀表板與警報機制
AI 網關與模型編排
- 利用 LiteLLM 和 Portkey 實現多供應商路由
- 備援策略、重試邏輯與電路斷路器機制
- 成本感知型模型選擇與負載均衡
- 速率限制、配額管理,以及 API 金鑰治理
效能優化
- 結合向量儲存庫的語義快取與精確匹配策略
- 透過受限解碼實現結構化輸出強制執行
- 批量處理、串流傳輸及並行模式
- 跨模型供應商的延遲優化
治理、合規與審計
- LLM 審計軌跡:提示詞日誌、回應日誌及決策溯源
- LLM API 的數據留存與隱私考量
- 企業內部 LLM 使用的策略即代碼(Policy-as-code)
- 編寫內部 LLM 營運操作手冊
最低要求
- 具備建構或整合 LLM 驅動應用程式的經驗。
- 熟悉 Python 程式語言與 REST API。
- 基礎掌握提示詞工程概念。
適用對象
- 轉型至 LLM 營運領域的 ML 工程師與 MLOps 從業人員。
- 負責 LLM 基礎設施的平台工程師。
- 管理生產環境 GenAI 部署的技術主管。
14 小時
客戶評論 (2)
使用正确且有效的提示词
Marses Pacaldo
課程 - Generative AI and Prompt Engineering for Corporate Professionals
機器翻譯
互動式風格,練習
Tamas Tutuntzisz
課程 - Introduction to Prompt Engineering
機器翻譯