使用基於人類回饋的強化學習 (RLHF) 進行微調培訓
基於人類回饋的強化學習 (RLHF) 是一種用於微調 ChatGPT 及其他頂尖 AI 系統等模型的尖端技術。
這門由講師帶領的實地訓練課程(線上或現場)旨在服務高級機器學習工程師及 AI 研究者,幫助他們應用 RLHF 技術對大型 AI 模型進行微調,以提升其性能、安全性及對齊程度。
完成本課程後,學員將能夠:
- 理解 RLHF 的理論基礎,以及為何它在現代 AI 開發中至關重要。
- 基於人類回饋實施獎勵模型,以引導強化學習過程。
- 運用 RLHF 技術微調大型語言模型,使輸出結果與人類偏好保持一致。
- 應用最佳實踐來擴展 RLHF 工作流程,以應對生產級 AI 系統的需求。
課程形式
- 互動式講座與討論。
- 大量的演習與練習。
- 在實時實驗環境中進行 hands-on(動手實操)實施。
課程自訂選項
- 如需為本課程申請自訂訓練內容,請與我們聯絡以進行安排。
課程簡介
基於人類回饋的強化學習 (RLHF) 簡介
- 何謂 RLHF 及其重要性
- 與監督式微調方法的比較
- RLHF 在現代 AI 系統中的應用
基於人類回饋的獎勵建模
- 收集與結構化人類回饋
- 構建與訓練獎勵模型
- 評估獎勵模型的有效性
使用近端策略優化 (PPO) 進行訓練
- 用於 RLHF 的 PPO 算法概述
- 結合獎勵模型實施 PPO
- 迭代且安全地微調模型
語言模型的實務微調
- 為 RLHF 工作流程準備數據集
- 使用 RLHF 對小型 LLM 進行 hands-on(動手實操)微調
- 挑戰與緩解策略
將 RLHF 擴展至生產系統
- 基礎設施與計算資源考量
- 質量保證與持續回饋循環
- 部署與維護的最佳實踐
倫理考量與偏差緩解
- 應對人類回饋中的倫理風險
- 偏差檢測與修正策略
- 確保對齊及安全輸出
案例研究與真實世界範例
- 案例研究:使用 RLHF 微調 ChatGPT
- 其他成功的 RLHF 部署案例
- 經驗教訓與行業見解
最低要求
- 理解監督式學習與強化學習的基本原理
- 具備模型微調及神經網絡架構的經驗
- 熟悉 Python 編程及深度學習框架(例如 TensorFlow、PyTorch)
目標受眾
- 機器學習工程師
- AI 研究者
需要幫助選擇合適的課程嗎?
macao@nobleprog.com 或 +852 81990613
使用基於人類回饋的強化學習 (RLHF) 進行微調培訓 - 詢問
使用基於人類回饋的強化學習 (RLHF) 進行微調 - 咨詢詢問
相關課程
Vertex AI 進階微調與提示詞管理
14 小時此由講師帶領的 澳門 培訓涵蓋 Vertex AI 的進階微調與提示詞管理,協助中級及高級專業人員優化 Gemini 模型、實施嚴謹的評估工作流程,並為實際企業環境部署可靠的生成式 AI 解決方案。
遷移學習的高級技術
14 小時在澳門(線上或線下)進行的由講師指導的實時培訓,旨在讓高級機器學習專業人士掌握最前沿的遷移學習技術,並將它們應用於複雜的實際問題。
通過本培訓,參加者能夠:
- 理解遷移學習中的高級概念和方法論。
- 實現針對預訓練模型的特定領域適應技術。
- 應用持續學習來管理不斷演變的任務和數據集。
- 掌握多任務微調以增強跨任務的模型性能。
精細調整模型的持續學習與模型更新策略
14 小時這項由講師主導的實時培訓在澳門(線上或線下)進行,旨在幫助進階AI維護工程師和MLOps專業人員,為已部署的精細調整模型建立強大的持續學習管道及有效的更新策略。
完成本課程後,學員將能夠:
- 設計並實施已部署模型的持續學習工作流。
- 透過適當的訓練與記憶體管理,減輕災難性遺忘現象。
- 依據模型漂移或數據變化自動監控與觸發更新。
- 將模型更新策略整合至現有的CI/CD與MLOps管道。
在生產環境中部署微調模型
21 小時本課程為講師帶領的即時培訓(澳門線上或線下),目標對象為希望可靠且高效部署微調模型的高階專業人士。
完成本培訓後,學員將能夠:
- 理解將微調模型部署至生產環境所面臨的挑戰。
- 使用 Docker 和 Kubernetes 等工具進行模型容器化與部署。
- 為已部署的模型實施監控與日誌記錄。
- 在現實場景中最佳化模型的延遲與可擴展性。
金融領域的微調(Domain-Specific Fine-Tuning)
21 小時此課程為由導師帶領的現場培訓(澳門,線上或線下),旨在幫助中級專業人士獲得為關鍵金融任務自訂 AI 模型的實用技能。
完成培訓後,學員將能夠:
- 理解金融應用微調的基本原理。
- 利用預訓練模型執行金融領域的特定任務。
- 應用欺詐偵測、風險評估及財務建議生成的技術。
- 確保符合 GDPR 及 SOX 等金融法規。
- 在金融應用中實施數據安全及 AI 倫理實踐。
微調模型與大型語言模型(LLM)
14 小時這項由講師主導的實作培訓 澳門(線上或線下)旨在針對初級至中級,以及中級至高級專業人士,協助其自適應預訓練模型以應用於特定任務與數據集。
完成本培訓後,參與者將能夠:
- 理解微調的原則及其套用場景
- 準備用於微調預訓練模型的數據集
- 為自然語言處理(NLP)任務微調大型語言模型(LLM)
- 優化模型績效並解決常見挑戰
使用低秩適應 (LoRA) 進行高效微調
14 小時此位於 澳門(線上或線下)的講師主導實時培訓,旨在服務於希望在不依賴大量計算資源的情況下實現大型模型微調策略的中級開發人員和 AI 從業者。
完成本培訓後,學員將能夠:
- 理解低秩適應 (LoRA) 的基礎原理。
- 實施 LoRA 以高效微調大型模型。
- 優化資源受限環境中的微調流程。
- 評估並部署經過 LoRA 微調的模型用於實際應用。
微調多模態模型
28 小時本課程由講師指導,提供實時培訓(線上或線下),旨在幫助希望掌握多模態模型微調技能以開發創新AI解決方案的高級專業人士。
完成本培訓後,學員將能夠:
- 理解CLIP和Flamingo等模型的架構
- 有效準備和預處理多模態數據集
- 為特定任務微調多模態模型
- 優化模型在現實應用中的性能
自然語言處理(NLP)的微調
21 小時本課程由導師主導的實時培訓,地點在澳門(線上或線下),旨在協助中級專業人員透過有效微調預訓練語言模型,提升其NLP項目表現。
完成本培訓後,參與者將能夠:
- 理解NLP任務微調的基本原理。
- 針對特定NLP應用場景,對GPT、BERT和T5等預訓練模型進行微調。
- 優化超參數以提升模型性能。
- 評估並在現實場景中部署微調後的模型。
微調 AI 於金融服務:風險預測與欺詐偵測
14 小時這項由講師主導的現場培訓在 澳門(線上或線下)針對金融領域中高級別數據科學家和 AI 工程師,他們希望使用領域特定的金融數據來微調模型,應用於信用評分、欺詐偵測和風險建模等用途。
完成本課程後,學員將能夠:
- 在金融數據集上微調 AI 模型,以改善欺詐和風險預測。
- 應用遷移學習、LoRA 和正則化等技術以提高模型效率。
- 將金融合規考量整合到 AI 建模工作流中。
- 部署微調後的模型,供金融服務平台生產使用。
微調AI用於醫療保健:醫學診斷和預測性分析
14 小時這門由講師指導的現場培訓澳門(線上或線下)旨在為中級至高級醫療AI開發者和數據科學家提供臨床診斷、疾病預測及患者預後預測的微調技能,使用結構化和非結構化醫療數據。
完成此培訓後,參與者將能夠:
- 在包括電子病歷、影像和時間序列數據的醫療保健數據集上微調AI模型。
- 在醫療背景下應用遷移學習、領域適應和模型壓縮技術。
- 解決模型開發中的隱私、偏差和監管合規問題。
- 在現實世界的醫療保健環境中部署和監控微調後的模型。
微調 DeepSeek LLM 以建立客製化 AI 模型
21 小時此 澳門(線上或線下)講師主導的即時培訓,旨在幫助進階 AI 研究人員、機器學習工程師和開發者微調 DeepSeek LLM 模型,以建立適合特定行業、領域或業務需求的專用 AI 應用程式。
完成培訓後,學員將能夠:
- 了解 DeepSeek 模型的架構與功能,包括 DeepSeek-R1 和 DeepSeek-V3。
- 準備資料集並對資料進行微調前的預處理。
- 針對領域特定應用微調 DeepSeek LLM。
- 高效優化並部署經過微調的模型。
針對自主系統與監控的防禦AI微調防禦
14 小時這堂由講師主導的現場培訓,在澳門(線上或線下)進行,旨在為初級到進級的防禦AI工程師及軍事技術開發人員,提供如何微調深度學習模型用於自動駕駛車輛、無人機和監控系統的知識,並滿足嚴格的安防與可靠標準。
完成本課程後,學員將能夠:
- 微調計算機視覺和感測器融合模型以進行監視及目標定位任務。
- 使自主AI系統適應變化的環境和任務配置。
- 實施強大的驗證機制與故障保護措施於模型流水線中。
- 確保符合國防相關的合規性、安全性和可靠性標準。
微調法律AI模型:合約審閱與法律研究
14 小時這項在澳門(線上或線下)進行的由講師指導的現場培訓,旨在為中級的法律科技工程師和AI開發人員提供合約分析、條款提取以及法律服務環境中的自動化法律研究等任務的微調語言模型訓練。
通過本次培訓,參與者將能夠:
- 準備和清理用於微調NLP模型的法律文件。
- 應用微調策略以提高模型在法律任務上的準確性。
- 部署模型以協助進行合約審閱、分類和研究。
- 確保在法律情境下AI輸出的合規性、可審計性和可追溯性。
使用 QLoRA 微調大型語言模型
14 小時此由講師指導的實時培訓,在 澳門(線上或線下)舉行,面向初級到高級的機器學習工程師、AI開發人員和數據科學家,旨在教導如何使用 QLoRA 高效地為特定任務和自定義需求微調大型模型。
培訓結束後,參與者將能夠:
- 理解 QLoRA 理論及 LLMs 量化技術原理。
- 在領域特定應用程式中實施 QLoRA進行大型語言模型微調。
- 利用量化在有限計算資源上優化微調效能。
- 在實際應用中高效部署與評估經微調的模型。