聯繫我們

課程簡介

Vertex AI 中的多模態 LLM 簡介

  • Vertex AI 多模態功能概觀
  • Gemini 模型及支援的模態
  • 企業與研究領域的使用情境

設定開發環境

  • 為多模態工作流程設定 Vertex AI
  • 處理跨模態資料集
  • 實作實驗室:環境設定及資料集準備

長上下文視窗及進階推理

  • 了解長上下文工作流程
  • 規劃與決策的使用情境
  • 實作實驗室:實施長上下文分析

跨模態工作流程設計

  • 結合文字、音訊及圖像分析
  • 在管道中串接多模態步驟
  • 實作實驗室:設計多模態管道

使用 Gemini API 參數

  • 設定多模態輸入與輸出
  • 優化推理及效率
  • 實作實驗室:調整 Gemini API 參數

進階應用與整合

  • 互動式多模態智能體及助理
  • 整合外部 API 及工具
  • 實作實驗室:建置多模態應用

評估與迭代

  • 測試多模態效能
  • 準確性、對齊及漂移的指標
  • 實作實驗室:評估多模態工作流程

總結及下一步

最低要求

  • 熟悉 Python 程式設計
  • 具備機器學習模型開發經驗
  • 熟悉多模態資料(文字、音訊、圖像)

目標受眾

  • AI 研究人員
  • 進階開發人員
  • ML 科學家
 14 小時

課程分類