聯繫我們

課程簡介

介紹使用Ollama部署LLM

  • Ollama功能概覽
  • 本地AI模型部署的優勢
  • 與雲端AI託管方案的比較

設置部署環境

  • 安裝Ollama及所需依賴項
  • 配置硬體及GPU加速
  • 將Ollama容器化以實現可擴展的部署

使用Ollama部署LLM

  • 加載及管理AI模型
  • 部署Llama 3、DeepSeek、Mistral及其他模型
  • 建立API及端點以存取AI模型

最佳化LLM效能

  • 微調模型以提升效率
  • 降低延遲並提升回應時間
  • 管理記憶體及資源分配

將Ollama整合至AI工作流程

  • 將Ollama連接至應用程式與服務
  • 自動化AI驅動的流程
  • 在邊緣運算環境中使用Ollama

監控及維護

  • 追蹤效能並除錯問題
  • 更新及管理AI模型
  • 確保AI部署中的安全性與合規性

擴展AI模型部署

  • 處理高負載的最佳實務
  • 為企業用例擴展Ollama
  • 本地AI模型部署的未來發展

總結及後續步驟

最低要求

  • 具備機器學習和AI模型的基本經驗
  • 熟悉命令列介面及腳本
  • 了解部署環境(本地、邊緣、雲端)

目標受眾

  • 最佳化本地和雲端AI部署的AI工程師
  • 部署及微調LLM的機器學習從業者
  • 管理AI模型整合的DevOps專家
 14 小時

課程分類