聯繫我們

課程簡介

介紹與診斷基礎

  • LLM 系統中的故障模式概述,以及常見的 Ollama 特定問題
  • 建立可重複的實驗及受控環境
  • 除錯工具集:本地日誌、請求/回應捕捉及沙盒化

重現與隔離故障

  • 建立最小失敗案例及種子值的技術
  • 有狀態與無狀態互動:隔離與上下文相關的錯誤
  • 確定性、隨機性以及控制非確定性行為

行為評估與指標

  • 定量指標:準確度、ROUGE/BLEU 變體、校準及困惑度代理
  • 定性評估:人類參與的評分及基準設計
  • 特定任務的保真度檢查與驗收標準

自動化測試與回歸

  • 提示詞與組件的單元測試,以及情境與端到端測試
  • 建立回歸套件及黃金案例基準
  • 整合 CI/CD 以處理 Ollama 模型更新及自動化驗證閘門

可觀測性與監控

  • 結構化日誌、分散式追蹤及關聯 ID
  • 關鍵運作指標:延遲、token 使用量、錯誤率及質量信號
  • 告警、儀表板,以及模型支援服務的 SLIs/SLOs

進階根本原因分析

  • 透過圖化提示詞、工具呼叫及多輪流程進行追蹤
  • 比較式 A/B 診斷及消融研究
  • 資料溯源、數據集除錯,以及解決數據集引發的故障

安全性、健壯性與修復策略

  • 緩解措施:過濾、錨定、檢索增強及提示詞骨架化
  • 模型更新的回滾、金絲雀發布及分階段部署模式
  • 事後審查、經驗教訓及持續改進循環

總結與下一步

最低要求

  • 豐富的 LLM 應用程式建構與部署經驗
  • 熟悉 Ollama 工作流程及模型託管
  • 熟練 Python、Docker 及基本可觀測工具

目標受眾

  • AI 工程師
  • ML Ops 專業人員
  • 負責生產環境 LLM 系統的 QA 團隊
 35 小時

課程分類