聯繫我們

課程簡介

QLoRA 與量化介紹

  • 量化概述及其在模型優化中的角色。
  • QLoRA 框架及其優勢簡介。
  • QLoRA 與傳統微調方法的主要差異。

大型語言模型(LLMs)基礎

  • LLMs 及架構介紹。
  • 大規模微調大型模型的挑戰。
  • 量化如何幫助克服 LLM 微調的計算限制。

實施 QLoRA 進行 LLM 微調

  • 設定 QLoRA 框架及環境。
  • 準備用於 QLoRA 微調的數據集。
  • 使用 Python 和 PyTorch/TensorFlow 在 LLMs上實施 QLoRA 的分步指南。

使用 QLoRA 優化微調效能

  • 平衡量化下的模型準確性與效能。
  • 減少計算成本及記憶體使用的技術。
  • 以最小硬體需求進行微調的策略。

評估經微調的模型

  • 如何評估經微調模型的有效性。
  • 語言模型的常見評估指標。
  • 微調後優化模型效能及排除故障的方法。

部署與擴展經微調的模型

  • 將量化 LLMs 部署至生產環境的最佳實踐。
  • 擴展部署以處理即時請求。
  • 用於模型部署與監控的工具及框架。

現實應用案例與範例研究

  • 案例研究:為客戶支援和自然語言處理(NLP)任務微調 LLMs。
  • 在不同行業(如醫療保健、金融、電子商務)中微調 LLMs 的範例。
  • 從基於 QLoRA 模型的現實應用部署中總結的經驗教訓。

總結與後續步驟

最低要求

  • 理解機器學習基礎與神經網絡原理。
  • 具備模型微調及遷移學習經驗。
  • 熟悉大型語言模型(LLMs)與深度學習框架(如 PyTorch、TensorFlow)。

受眾

  • 機器學習工程師。
  • AI開發人員。
  • 數據科學家。
 14 小時

課程分類