大型語言模型 (LLMs) 和強化學習 (RL)培訓
大型語言模型 (LLMs) 是先進的神經網路類型，旨在根據接收到的輸入理解並生成類似人類的文本。強化學習 (RL) 是一種機器學習方法，智能體通過在環境中執行動作來最大化累計獎勵，從而學習做出決策。
這門由講師主導的實時培訓（線上或線下）針對希望全面理解大型語言模型 (LLMs) 和強化學習 (RL) 並獲得相關實踐技能的初級數據科學家。
完成本培訓後，學員將能夠：
- 理解變換器模型的組件和功能。
- 為特定任務和應用場景優化及微調 LLMs。
- 掌握強化學習的核心原則和方法論。
- 了解如何通過強化學習技術提升 LLMs 的性能。
課程形式
- 互動式授課與討論。
- 大量的練習與實操環節。
- 在實時實驗室環境中進行動手實施。
課程定製選項
- 如需針對此課程請求自定義培訓，請聯繫我們以安排事宜。
課程簡介
大型語言模型 (LLMs) 介紹
- LLMs 概覽
- 定義與重要性
- 當前 AI 中的應用
變換器架構
- 什麼是變換器及其工作原理？
- 主要組件與特性
- 嵌入與位置編碼
- 多頭注意力機制
- 前饋神經網絡
- 歸一化與殘差連接
變換器模型
- 自注意力機制
- 編碼器-解碼器架構
- 位置嵌入
- BERT（來自變換器的雙向編碼器表示）
- GPT（生成式預訓練變換器）
性能優化與常見陷阱
- 上下文長度
- Mamba 與狀態空間模型
- Flash attention
- 稀疏變換器
- 視覺變換器
- 量化重要性
改進變換器
- 檢索增強文本生成
- 混合模型
- 思維樹
微調
- 低秩適應理論
- 使用 QLora 進行微調
LLMs 中的縮放定律與優化
- 縮放定律對 LLMs 的重要性
- 數據與模型規模擴展
- 計算資源擴展
- 參數效率擴展
優化
- 模型規模、數據規模、計算預算與推理需求之間的關係
- 優化 LLMs 的性能與效率
- 訓練與微調 LLMs 的最佳實踐與工具
訓練與微調 LLMs
- 從頭開始訓練 LLMs 的步驟與挑戰
- 數據獲取與維護
- 大規模數據、CPU 及內存需求
- 優化挑戰
- 開源 LLMs 現狀
強化學習 (RL) 基礎知識
- 強化學習介紹
- 通過正向強化進行學習
- 定義與核心概念
- 馬爾可夫決策過程 (MDP)
- 動態規劃
- 蒙特卡洛方法
- 時間差分學習
深度強化學習
- 深度 Q 網絡 (DQN)
- 近端策略優化 (PPO)
- 強化學習要素
LLMs 與強化學習的整合
- 將 LLMs 與強化學習結合
- RL 在 LLMs 中的應用方式
- 基於人類反饋的強化學習 (RLHF)
- RLHF 的替代方案
案例研究與應用
- 實際世界中的應用
- 成功故事與挑戰
高級主題
- 高級技術
- 高級優化方法
- 前沿研究與進展
總結與下一步計劃
最低要求
- 具備機器學習的基本理解
受眾
- 數據科學家
- 軟件工程師
需要幫助選擇合適的課程嗎？
macao@nobleprog.com 或 +852 81990613
大型語言模型 (LLMs) 和強化學習 (RL)培訓 - 詢問
大型語言模型 (LLMs) 和強化學習 (RL) - 咨詢詢問
相關課程
進階 LangGraph：優化、除錯與監控複雜圖
35 小時使用 Devstral 構建編碼智能體：從設計到工具整合
14 小時在澳門 澳門 舉行的這堂現場培訓中，精通 Devstral。課程涵蓋架構、智能體工作流設計及工具整合。該課程理想適合高級工程師，透過動手實驗室構建能提升現代開發環境中生產力與安全性的編碼智能體。
開源模型運維：使用 Devstral 與 Mistral 模型進行自我託管、微調與治理
14 小時這門在 澳門 進行的講師實時培訓課程，旨在幫助機械學習工程師掌握 Devstral 和 Mistral 模型的自我託管與微調技巧。學員將學習實務性的治理、監控及合規技術，以便在生產環境中自信地部署開源人工智能。
金融領域的 LangGraph 應用
35 小時LangGraph 基礎：基於圖的 LLM 提示與鏈接
14 小時LangGraph 在醫療領域的應用：受監管環境下的工作流程編排
35 小時LangGraph 在法務應用程式中的應用
35 小時利用 LangGraph 與 LLM 智能體構建動態工作流程
14 小時LangGraph 用於營銷自動化
14 小時Le Chat Enterprise：私人ChatOps、整合與管理員控制
14 小時本澳門內的即時培訓涵蓋 Le Chat Enterprise，這是一款用於安全、受治理對話式 AI 的私有 ChatOps 解決方案。學員將學習如何部署、配置並將其與企業應用進行整合，從而啟用 RBAC、SSO 及基於合規性的控制措施，以實現可擴展且安全的 AI 工作流。
具成本效益的 LLM 架構：大規模 Mistral（效能／成本工程）
14 小時透過這門 澳門 的 14 小時實時培訓，掌握具成本效益的 Mistral LLM 架構。學習如何部署、優化並擴展 Mistral Medium 3，利用批次處理、量化及高效服務策略，針對企業工作負載實現最大吞吐量與最低成本。
使用 Mistral 連接器與整合功能將對話式助手產品化
14 小時本實時培訓課程涵蓋將 Mistral 對話式助手整合至企業工作流程的內容。澳門 參與者將學習連接 SaaS 工具、實施檢索增強生成（RAG），並為面向客戶及內部的聊天界面設計有效的用戶體驗（UX）模式。
使用 Mistral Medium 3 進行企業級部署
14 小時這門在 澳門 舉行的講師主導培訓，協助高級 AI 工程師部署並保護 Mistral Medium 3。您將學習如何優化推理成本、實作多模態應用場景，並應用企業合規實務。課程包含 API 及自託管設置的動手實驗室。
Mistral 負責任 AI：隱私、資料駐留及企業級控制
14 小時這門在 澳門 舉行的 Mistral 負責任 AI 現場培訓課程，專為合規及安全負責人設計。學員將掌握隱私保護技術、資料駐留策略，以及 RBAC 和 SSO 等企業級控制機制，以確保 AI 部署的安全與合規性。
使用 Mistral 模型構建多模態應用（視覺、OCR 及文件理解）
14 小時學習使用 Mistral 模型構建多模態應用，重點關注 OCR、文件理解及視覺-文本搜索。這門實戰培訓涵蓋管道實現、NLP 集成及企業級設計，可線上或在 澳門 進行。
