聯繫我們

課程簡介

大型語言模型 (LLMs) 介紹

  • LLMs 概覽
  • 定義與重要性
  • 當前 AI 中的應用

變換器架構

  • 什麼是變換器及其工作原理?
  • 主要組件與特性
  • 嵌入與位置編碼
  • 多頭注意力機制
  • 前饋神經網絡
  • 歸一化與殘差連接

變換器模型

  • 自注意力機制
  • 編碼器-解碼器架構
  • 位置嵌入
  • BERT(來自變換器的雙向編碼器表示)
  • GPT(生成式預訓練變換器)

性能優化與常見陷阱

  • 上下文長度
  • Mamba 與狀態空間模型
  • Flash attention
  • 稀疏變換器
  • 視覺變換器
  • 量化重要性

改進變換器

  • 檢索增強文本生成
  • 混合模型
  • 思維樹

微調

  • 低秩適應理論
  • 使用 QLora 進行微調

LLMs 中的縮放定律與優化

  • 縮放定律對 LLMs 的重要性
  • 數據與模型規模擴展
  • 計算資源擴展
  • 參數效率擴展

優化

  • 模型規模、數據規模、計算預算與推理需求之間的關係
  • 優化 LLMs 的性能與效率
  • 訓練與微調 LLMs 的最佳實踐與工具

訓練與微調 LLMs

  • 從頭開始訓練 LLMs 的步驟與挑戰
  • 數據獲取與維護
  • 大規模數據、CPU 及內存需求
  • 優化挑戰
  • 開源 LLMs 現狀

強化學習 (RL) 基礎知識

  • 強化學習介紹
  • 通過正向強化進行學習
  • 定義與核心概念
  • 馬爾可夫決策過程 (MDP)
  • 動態規劃
  • 蒙特卡洛方法
  • 時間差分學習

深度強化學習

  • 深度 Q 網絡 (DQN)
  • 近端策略優化 (PPO)
  • 強化學習要素

LLMs 與強化學習的整合

  • 將 LLMs 與強化學習結合
  • RL 在 LLMs 中的應用方式
  • 基於人類反饋的強化學習 (RLHF)
  • RLHF 的替代方案

案例研究與應用

  • 實際世界中的應用
  • 成功故事與挑戰

高級主題

  • 高級技術
  • 高級優化方法
  • 前沿研究與進展

總結與下一步計劃

最低要求

  • 具備機器學習的基本理解

受眾

  • 數據科學家
  • 軟件工程師
 21 小時

課程分類