聯繫我們
 課程時長 7 時間:

課程簡介

從文本生成到類型化決策

  • 決策模型返回的內容
  • 系統一(System one)決策與推理型 LLM 的對比
  • 有界決策的成本與延遲特徵

開放權重決策模型概況

  • 來自 AWS Labs 的 Strands Decider 2B
  • JEV 和 GEV 開放權重家族
  • Pplx-Decider、Liquid D1 和 Clef
  • 許可證與部署差異

決策模型內部機制

  • 無語言建模頭的 LLM 主幹(torso)
  • 指針頭(pointer head)對候選選項進行打分
  • 置信度分數的來源

運行您的第一個決策

  • 在 CPU 和消費級 GPU 上的本地設置
  • 問題與選項集的表述方式
  • 在一次傳遞中提出多個問題
  • 閾值與回退行為(fallback behaviour)

評估決策質量

  • JevBench 及決策基準測試
  • 準確率與校準度的權衡
  • Brier 分數與置信度的可靠性
  • 決策模型不適用於何種任務

最低要求

  • 對大型語言模型(LLM)及基於提示詞(prompt-based)的應用有基本了解。
  • 熟悉命令行操作及 Python 腳本。
  • 無需機器學習訓練經驗。

目標受眾

  • 評估代理工作流中決策模型的 AI 工程師
  • 使用有界決策(bounded decisions)替代 LLM 調用的軟件開發人員
  • 設計代理架構的方案與平台架構師
  • 評估決策模型選項的技術產品經理

課程分類