課程簡介

參數高效微調 (PEFT) 介紹

  • 全面微調的動機與限制
  • PEFT 概述:目標與優勢
  • 在行業中的應用與使用案例

LoRA (低秩適應)

  • LoRA 的概念與直覺
  • 使用 Hugging Face 和 PyTorch 實現 LoRA
  • 實作:使用 LoRA 微調模型

適配器微調

  • 適配器模組的工作原理
  • 與基於 Transformer 模型的整合
  • 實作:將適配器微調應用於 Transformer 模型

前綴微調

  • 使用軟提示進行微調
  • 與 LoRA 和適配器相比的優勢與限制
  • 實作:在 LLM 任務上進行前綴微調

評估與比較 PEFT 方法

  • 評估性能與效率的指標
  • 訓練速度、記憶體使用與準確性之間的權衡
  • 基準測試實驗與結果解釋

部署微調模型

  • 保存與載入微調模型
  • 基於 PEFT 模型的部署考量
  • 整合到應用與管道中

最佳實踐與擴展

  • 將 PEFT 與量化與蒸餾結合
  • 在低資源與多語言環境中的使用
  • 未來方向與活躍研究領域

總結與下一步

最低要求

  • 了解機器學習基礎知識
  • 具有大型語言模型(LLMs)的相關經驗
  • 熟悉Python和PyTorch

目標受眾

  • 數據科學家
  • AI工程師
 14 時間:

課程分類