聯繫我們

課程簡介

參數高效微調 (PEFT) 簡介

  • 全量微調的動機與限制。
  • PEFT 概述:目標與優勢。
  • 行業中的應用與案例。

LoRA (低秩適配)

  • LoRA 的概念與直觀理解。
  • 使用 Hugging Face 和 PyTorch 實現 LoRA。
  • 實作:使用 LoRA 微調模型。

Adapter Tuning

  • Adapter 模組的工作原理。
  • 與基於 transformer 的模型的整合。
  • 實作:將 Adapter Tuning 應用於 transformer 模型。

Prefix Tuning

  • 使用軟提示進行微調。
  • 與 LoRA 和 Adapter 相比的優勢與限制。
  • 實作:在 LLM 任務上執行 Prefix Tuning。

評估與比較 PEFT 方法

  • 用於評估效能與效率的指標。
  • 訓練速度、記憶體使用率及準確性之間的權衡。
  • 基準測試實驗與結果解讀。

部署微調模型

  • 儲存與載入微調後的模型。
  • 基於 PEFT 模型的部署考量。
  • 整合至應用程式和管道中。

最佳實踐與擴展應用

  • 將 PEFT 與量化及知識蒸餾結合。
  • 在低資源和多語言場景中的應用。
  • 未來發展方向與熱門研究領域。

總結與後續步驟

最低要求

  • 具備機器學習基礎知識。
  • 有使用大型語言模型 (LLM) 的經驗。
  • 熟悉 Python 及 PyTorch。

目標受眾

  • 數據科學家。
  • AI 工程師。
 14 小時

課程分類