聯繫我們
 課程時長 35 時間:

課程簡介

簡介與診斷基礎

  • LLM 系統中故障模式的概觀,以及 Ollama 特有的常見問題
  • 建立可重現的實驗及受控環境
  • 除錯工具集:本地日誌、請求/回應捕捉及沙盒隔離

重現與隔離故障

  • 創建最小失敗範例及種子數據的技術
  • 有狀態與無狀態互動:隔離與上下文相關的回憶
  • 確定性、隨機性,以及如何控制非確定性行為

行為評估與指標

  • 定量指標:準確度、ROUGE/BLEU 變體、校准及困惑度代理指標
  • 定性評估:人工介入評分及評分準則設計
  • 任務特定的保真度檢查及接受標準

自動化測試與回歸測試

  • 針對提示詞及組件的單元測試,場景測試及端到端測試
  • 創建回歸測試套件及黃金範例基線
  • 將 Ollama 模型更新整合至 CI/CD,並設自動驗證閘門

可觀察性與監控

  • 結構化日誌、分布式追蹤及關聯 ID
  • 關鍵運營指標:延遲、令牌使用量、錯誤率及質量信號
  • 為模型背後的服務設定警示、儀表板及 SLI/SLO

進階根本原因分析

  • 追蹤圖形化提示詞、工具調用及多輪流程
  • 比較性 A/B 診斷及消融研究
  • 數據源頭、數據集除錯,以及處理數據集引發的故障

安全性、穩健性與修復策略

  • 緩解措施:過濾、接地(Grounding)、檢索增強及提示詞腳手架
  • 模型更新的回滾、金丝雀發布及分階段推出模式
  • 事後檢討、經驗教訓及持續改進循環

總結與下一步

最低要求

  • 具備豐富經驗,能建置及部署 LLM 應用
  • 熟悉 Ollama 工作流程及模型託管
  • 熟悉 Python、Docker 及基礎可觀察性工具

目標受眾

  • AI 工程師
  • ML Ops 專業人士
  • 負責生產環境 LLM 系統的 QA 團隊

課程分類