Vertex AI 中的多模態 LLM 工作流程培訓
Vertex AI 提供強有力的工具，用於建構能將文字、音訊和影像資料整合至單一管線的多模態 LLM 工作流程。透過支援長上下文視窗及 Gemini API 參數，它能在規劃、推理及跨模態智能等領域實現進階應用。
這門由導師帶領的實地訓練課程（線上或現場）旨在幫助中階至高級實務人員設計、建構並最佳化 Vertex AI 中的多模態 AI 工作流程。
完成本課程後，學員將能夠：
- 利用 Gemini 模型處理多模態的輸入與輸出。
- 針對複雜推理實現長上下文工作流程。
- 設計整合文字、音訊及影像分析的管線。
- 最佳化 Gemini API 參數以提升效能及成本效益。
課程形式
- 互動式講座與討論。
- 多模態工作流程的實作實驗室。
- 針對多模態實際應用情境的專案式演練。
課程自定義選項
- 如需申請本課程的自定義訓練，請聯繫我們以作安排。
課程簡介
Vertex AI 中的多模態 LLM 簡介
- Vertex AI 多模態功能概覽
- Gemini 模型及支援的模態
- 企業與研究領域的應用案例
建置開發環境
- 為多模態工作流程設定 Vertex AI
- 處理跨模態的資料集
- 實作實驗室：環境設定與資料集準備
長上下文視窗與進階推理
- 理解長上下文工作流程
- 在規劃與決策中的應用案例
- 實作實驗室：實現長上下文分析
跨模態工作流程設計
- 結合文字、音訊及影像分析
- 在管線中串連多模態步驟
- 實作實驗室：設計多模態管線
操作 Gemini API 參數
- 設定多模態輸入與輸出
- 最佳化推理與效率
- 實作實驗室：調整 Gemini API 參數
進階應用與整合
- 互動式多模態智能體與助理
- 整合外部 API 與工具
- 實作實驗室：建構多模態應用程式
評估與迭代
- 測試多模態效能
- 準確性、對齊度及漂移指標
- 實作實驗室：評估多模態工作流程
總結與下一步
最低要求
- 熟練 Python 程式設計
- 具備機器學習模型開發經驗
- 熟悉多模態資料（文字、音訊、影像）
目標受眾
- AI 研究人員
- 高級開發者
- 機器學習科學家
需要幫助選擇合適的課程嗎？
macao@nobleprog.com 或 +852 81990613
Vertex AI 中的多模態 LLM 工作流程培訓 - 詢問
Vertex AI 中的多模態 LLM 工作流程 - 咨詢詢問
相關課程
進階 LangGraph：優化、除錯與監控複雜圖
35 小時使用 Devstral 構建編碼智能體：從設計到工具整合
14 小時在澳門 澳門 舉行的這堂現場培訓中，精通 Devstral。課程涵蓋架構、智能體工作流設計及工具整合。該課程理想適合高級工程師，透過動手實驗室構建能提升現代開發環境中生產力與安全性的編碼智能體。
開源模型運維：使用 Devstral 與 Mistral 模型進行自我託管、微調與治理
14 小時這門在 澳門 進行的講師實時培訓課程，旨在幫助機械學習工程師掌握 Devstral 和 Mistral 模型的自我託管與微調技巧。學員將學習實務性的治理、監控及合規技術，以便在生產環境中自信地部署開源人工智能。
金融領域的 LangGraph 應用
35 小時LangGraph 基礎：基於圖的 LLM 提示與鏈接
14 小時LangGraph 在醫療領域的應用：受監管環境下的工作流程編排
35 小時LangGraph 在法務應用程式中的應用
35 小時利用 LangGraph 與 LLM 智能體構建動態工作流程
14 小時LangGraph 用於營銷自動化
14 小時Le Chat Enterprise：私人ChatOps、整合與管理員控制
14 小時本澳門內的即時培訓涵蓋 Le Chat Enterprise，這是一款用於安全、受治理對話式 AI 的私有 ChatOps 解決方案。學員將學習如何部署、配置並將其與企業應用進行整合，從而啟用 RBAC、SSO 及基於合規性的控制措施，以實現可擴展且安全的 AI 工作流。
具成本效益的 LLM 架構：大規模 Mistral（效能／成本工程）
14 小時透過這門 澳門 的 14 小時實時培訓，掌握具成本效益的 Mistral LLM 架構。學習如何部署、優化並擴展 Mistral Medium 3，利用批次處理、量化及高效服務策略，針對企業工作負載實現最大吞吐量與最低成本。
使用 Mistral 連接器與整合功能將對話式助手產品化
14 小時本實時培訓課程涵蓋將 Mistral 對話式助手整合至企業工作流程的內容。澳門 參與者將學習連接 SaaS 工具、實施檢索增強生成（RAG），並為面向客戶及內部的聊天界面設計有效的用戶體驗（UX）模式。
使用 Mistral Medium 3 進行企業級部署
14 小時這門在 澳門 舉行的講師主導培訓，協助高級 AI 工程師部署並保護 Mistral Medium 3。您將學習如何優化推理成本、實作多模態應用場景，並應用企業合規實務。課程包含 API 及自託管設置的動手實驗室。
Mistral 負責任 AI：隱私、資料駐留及企業級控制
14 小時這門在 澳門 舉行的 Mistral 負責任 AI 現場培訓課程，專為合規及安全負責人設計。學員將掌握隱私保護技術、資料駐留策略，以及 RBAC 和 SSO 等企業級控制機制，以確保 AI 部署的安全與合規性。
使用 Mistral 模型構建多模態應用（視覺、OCR 及文件理解）
14 小時學習使用 Mistral 模型構建多模態應用，重點關注 OCR、文件理解及視覺-文本搜索。這門實戰培訓涵蓋管道實現、NLP 集成及企業級設計，可線上或在 澳門 進行。
