聯繫我們

課程簡介

開源LLM簡介

  • 什麼是開源模型及其重要性
  • LLaMA、Mistral、Qwen及其他社區模型概述
  • 私有、本地或安全部署的用例

環境設置與工具

  • 安裝和配置Transformers、Datasets和PEFT庫
  • 選擇適合微調的硬件
  • 從Hugging Face或其他倉庫加載預訓練模型

數據準備與預處理

  • 數據集格式(指令微調、聊天數據、純文本)
  • 分詞與序列管理
  • 創建自定義數據集和數據加載器

微調技術

  • 標準全微調與參數高效方法
  • 應用LoRA和QLoRA進行高效微調
  • 使用Trainer API快速實驗

模型評估與優化

  • 通過生成和準確性指標評估微調模型
  • 管理過擬合、泛化和驗證集
  • 性能調優技巧與日誌記錄

部署與私有使用

  • 保存和加載模型用於推理
  • 在安全企業環境中部署微調模型
  • 本地與雲端部署策略

案例研究與用例

  • 企業使用LLaMA、Mistral和Qwen的案例
  • 處理多語言和領域特定微調
  • 討論:開源與閉源模型的權衡

總結與下一步

最低要求

  • 瞭解大語言模型(LLM)及其架構
  • 具備Python和PyTorch經驗
  • 對Hugging Face生態系統有基本瞭解

受衆

  • ML從業者
  • AI開發者
 14 小時

課程分類