聯繫我們

課程簡介

多模態學習簡介

  • 多模態 AI 概覽
  • 多模態資料處理的挑戰
  • 多模態 LLM 的優勢

理解大型語言模型

  • 最新一代 LLM 的架構
  • 使用多模態資料訓練 LLM
  • 案例研究:成功的多模態 LLM 應用

處理多模態資料

  • 文字、影像和音訊的資料前置處理技術
  • 特徵提取與表示學習
  • 在多模態 LLM 中整合多模態資料

開發多模態 LLM 應用程式

  • 設計多模態互動的使用者介面
  • LLM 在虛擬助理和聊天機器人中的應用
  • 使用 LLM 創造沉浸式體驗

評估與優化多模態系統

  • 多模態 LLM 的效能指標
  • 提升準確性和效率的優化策略
  • 處理多模態系統中的偏見與公平性問題

實作實驗室:建構多模態 LLM 專案

  • 設定多模態資料集
  • 為特定用例實作多模態 LLM
  • 測試並微調系統

總結與後續步驟

最低要求

  • 理解機器學習和神經網路
  • 具備 Python 程式設計經驗
  • 熟悉各類資料(文字、影像、音訊)的資料前置處理

受眾對象

  • 資料科學家
  • 機器學習工程師
  • 軟體開發人員
  • 專注於 AI 和自然語言處理的研究人員
 14 小時

課程分類