聯繫我們

課程簡介

多模態 AI 與 Ollama 簡介

  • 多模態學習概論。
  • 視覺語言整合的關鍵挑戰。
  • Ollama 的功能架構。

設定 Ollama 環境

  • 安裝與配置 Ollama。
  • 處理本地模型部署。
  • 將 Ollama 與 Python 及 Jupyter 整合。

處理多模態輸入

  • 文字與影像整合。
  • 融入音訊與結構化資料。
  • 設計預處理管線。

文檔理解應用程式

  • 從 PDF 與影像中提取結構化資訊。
  • 結合 OCR 技術與大型語言模型。
  • 構建智能文檔分析工作流程。

視覺問答 (VQA)

  • 設定 VQA 數據集與基準測試。
  • 訓練並評估多模態模型。
  • 構建互動式 VQA 應用程式。

設計多模態智能體

  • 具備多模態推理能力的智能體設計原則。
  • 結合感知、語言與行動能力。
  • 部署智能體以應用於真實場景。

進階整合與最佳化

  • 使用 Ollama 微調多模態模型。
  • 最佳化推論效能。
  • 考量可擴展性與部署需求。

總結與後續步驟

最低要求

  • 具備扎實的機器學習概念基礎。
  • 擁有 PyTorch 或 TensorFlow 等深度學習框架的實務經驗。
  • 熟悉自然語言處理與電腦視覺技術。

對象

  • 機器學習工程師。
  • AI 研究者。
  • 整合視覺與文字工作流程的產品開發人員。
 21 小時

課程分類