聯繫我們

課程簡介

簡介

  • 什麼是大型語言模型 (LLMs)?
  • LLMs 與傳統 NLP 模型的比較
  • LLM 的特點與架構概述
  • LLMs 面臨的挑戰與限制

理解 LLMs

  • LLM 的生命週期
  • LLM 的工作原理
  • LLM 的主要組件:編碼器、解碼器、注意力機制、嵌入層等。

入門指南

  • 設置開發環境
  • 安裝 LLM 作為開發工具,例如 Google Colab、Hugging Face

使用 LLMs

  • 探索可用的 LLM 選項
  • 創建和使用 LLM
  • 在自定義數據集上對 LLM 進行微調

文本摘要

  • 了解文本摘要任務及其應用
  • 使用 LLM 進行抽取式和生成式文本摘要
  • 使用 ROUGE、BLEU 等指標評估生成摘要的質量。

問答系統

  • 了解問答系統任務及其應用
  • 使用 LLM 進行開放域和封閉域的問答
  • 使用 F1、EM 等指標評估生成答案的準確性。

文本生成

  • 了解文本生成任務及其應用
  • 使用 LLM 進行條件和非條件文本生成
  • 通過調整溫度、top-k、top-p 等參數控制生成文本的風格、語調和內容。

將 LLMs 與其他框架和平台集成

  • 在 PyTorch 或 TensorFlow 中使用 LLMs
  • 在 Flask 或 Streamlit 中使用 LLMs
  • 在 Google Cloud 或 AWS 中使用 LLMs

故障排除

  • 了解 LLMs 中常見的錯誤和 bug。
  • 使用 TensorBoard 監控和可視化訓練過程。
  • 使用 PyTorch Lightning 簡化訓練代碼並提高性能。
  • 使用 Hugging Face Datasets 加載和預處理數據。

總結與下一步

最低要求

  • 具備自然語言處理和深度學習的知識
  • 擁有 Python 及 PyTorch 或 TensorFlow 的使用經驗
  • 基本的編程經驗

受眾對象

  • 開發人員
  • NLP 愛好者
  • 數據科學家
 14 小時

課程分類