課程簡介

開源LLMs簡介

  • 什麼是開放權重模型及其重要性
  • LLaMA、Mistral、Qwen及其他社群模型概述
  • 私有、本地或安全部署的應用案例

環境設置與工具

  • 安裝與配置Transformers、Datasets及PEFT函式庫
  • 選擇適合的硬體進行微調
  • 從Hugging Face或其他儲存庫載入預訓練模型

數據準備與預處理

  • 數據集格式(指令微調、聊天數據、純文本)
  • 分詞與序列管理
  • 創建自定義數據集與數據加載器

Fine-Tuning技術

  • 標準全微調與參數高效方法對比
  • 應用LoRA與QLoRA進行高效微調
  • 使用Trainer API進行快速實驗

模型評估與優化

  • 使用生成與準確度指標評估微調模型
  • 管理過擬合、泛化與驗證集
  • 性能調優技巧與日誌記錄

部署與私有使用

  • 保存與載入模型進行推理
  • 在安全企業環境中部署微調模型
  • 本地與雲端部署策略

案例研究與Use Case

  • 企業使用LLaMA、Mistral及Qwen的範例
  • 處理多語言與特定領域的微調
  • 討論:開放與封閉模型的權衡

總結與下一步

最低要求

  • 了解大型語言模型(LLMs)及其架構
  • 具備Python和PyTorch的經驗
  • 對Hugging Face生態系統有基本了解

目標受眾

  • 機器學習從業者
  • 人工智慧開發者
 14 時間:

課程分類