聯繫我們
 課程時長 14 時間:

課程簡介

基於人類回饋的強化學習 (RLHF) 簡介

  • 何謂 RLHF 及其重要性
  • 與監督式微調方法的比較
  • RLHF 在現代 AI 系統中的應用

基於人類回饋的獎勵建模

  • 收集與結構化人類回饋
  • 構建與訓練獎勵模型
  • 評估獎勵模型的有效性

使用近端策略優化 (PPO) 進行訓練

  • 用於 RLHF 的 PPO 算法概述
  • 結合獎勵模型實施 PPO
  • 迭代且安全地微調模型

語言模型的實務微調

  • 為 RLHF 工作流程準備數據集
  • 使用 RLHF 對小型 LLM 進行 hands-on(動手實操)微調
  • 挑戰與緩解策略

將 RLHF 擴展至生產系統

  • 基礎設施與計算資源考量
  • 質量保證與持續回饋循環
  • 部署與維護的最佳實踐

倫理考量與偏差緩解

  • 應對人類回饋中的倫理風險
  • 偏差檢測與修正策略
  • 確保對齊及安全輸出

案例研究與真實世界範例

  • 案例研究:使用 RLHF 微調 ChatGPT
  • 其他成功的 RLHF 部署案例
  • 經驗教訓與行業見解

最低要求

  • 理解監督式學習與強化學習的基本原理
  • 具備模型微調及神經網絡架構的經驗
  • 熟悉 Python 編程及深度學習框架(例如 TensorFlow、PyTorch)

目標受眾

  • 機器學習工程師
  • AI 研究者

課程分類