Ollama 擴展及基礎設施最佳化培訓
Ollama 是一個用於在本地及大規模環境中運行大型語言模型及多模態模型的平臺。
本課程為導師主導的實地培訓(可選擇線上或現場授課),專為希望擴展 Ollama 部署以適應多用戶、高吞吐量及成本效益環境的中進階至高級工程師而設計。
完成本培訓後,學員將能夠:
- 配置 Ollama 以處理多用戶及分佈式工作負載。
- 最佳化 GPU 及 CPU 資源分配。
- 實施自動擴展、批次處理及延遲降低策略。
- 監控及最佳化基礎設施,以提升性能並確保成本效益。
課程形式
- 互動式講座與討論。
- 實戰部署與擴展實驗室。
- 在實時環境中進行實用最佳化演練。
課程客製化選項
- 如欲申請本課程的客製化培訓,請聯繫我們以進行安排。
課程簡介
擴展 Ollama 簡介
- Ollama 的架構及擴展考量
- 多用戶部署中常見的瓶頸
- 基礎設施就緒的最佳實務
資源分配及 GPU 最佳化
- 高效的 CPU/GPU 使用策略
- 記憶體及頻寬考量
- 容器級資源約束
使用容器及 Kubernetes 進行部署
- 使用 Docker 將 Ollama 容器化
- 在 Kubernetes 叢集中運行 Ollama
- 負載平衡及服務發現
自動擴展及批次處理
- 為 Ollama 設計自動擴展策略
- 用於吞吐量最佳化的批次推論技術
- 延遲與吞吐量之間的取捨
延遲最佳化
- 推論性能分析
- 緩存策略及模型預熱
- 減少 I/O 及通信開銷
監控及可觀測性
- 整合 Prometheus 以收集指標
- 使用 Grafana 建立儀表板
- Ollama 基礎設施的警報及事件響應
成本管理及擴展策略
- 具備成本意識的 GPU 分配
- 雲端與本地部署的考量
- 可持續擴展策略
總結及後續步驟
最低要求
- 具備 Linux 系統管理經驗
- 理解容器化及編排技術
- 熟悉機器學習模型部署
目標受眾
- DevOps 工程師
- ML 基礎架構團隊
- 網站可靠性工程師
需要幫助選擇合適的課程嗎?
macao@nobleprog.com 或 +852 81990613
Ollama 擴展及基礎設施最佳化培訓 - 詢問
Ollama 擴展及基礎設施最佳化 - 咨詢詢問
相關課程
進階 Ollama 模型除錯與評估
35 小時使用 Ollama 構建私有 AI 工作流程
14 小時這項在 澳門(線上或線下)進行的講師主導實時培訓,旨在面向希望利用 Ollama 實施安全高效的 AI 驅動工作流程的高級專業人士。
在本課程結束時,參與者將能夠:
- 部署和配置 Ollama 以進行私有 AI 處理。
- 將 AI 模型集成到企業安全工作流程中。
- 在保持數據隱私的同時優化 AI 性能。
- 利用本地 AI 功能自動化業務流程。
- 確保符合企業安全和治理政策。
使用Ollama部署及最佳化大型語言模型
14 小時此澳門課程由講師帶領並現場實施(線上或線下),旨在幫助具備中等水平專業技能的從業人員,學習如何使用Ollama部署、最佳化及整合LLM。
完成培訓後,參與者將能夠:
- 使用Ollama設置並部署大型語言模型。
- 針對效能和效率最佳化AI模型。
- 利用GPU加速提升推理速度。
- 將Ollama整合至工作流程與應用程式中。
- 監控並維持AI模型的長期效能。
在Ollama上微調和自訂AI模型
14 小時這項在澳門(線上或線下)舉辦、由講師指導的即時培訓,旨在服務那些希望透過在Ollama上微調和自訂AI模型以增強效能及應用於特定領域的高階專業人士。
完成本課程後,學員將能夠:
- 建立高效的環境以在Ollama上微調AI模型。
- 準備用於監督式微調和強化學習的資料集。
- 優化AI模型的效能、準確性和效率。
- 在生產環境中部署自訂模型。
- 評估模型改進情況並確保其穩定性。
使用 Ollama 打造多模態應用
21 小時入門 Ollama:運行本地 AI 模型
7 小時此課程由講師指導進行實戰培訓(線上或線下),主要面向初級專業人士,幫助他們安裝、配置和使用 Ollama 在本地機器上運行 AI 模型。
完成本課程後,學員將能夠:
- 理解 Ollama 的基本概念及其功能。
- 設置 Ollama 以運行本地 AI 模型。
- 使用 Ollama 部署並與 LLMs 進行互動。
- 優化 AI 工作負載的性能和資源使用情況。
- 探索各行业中本地 AI 部署的案例。
Ollama 與數據隱私:安全部署模式
14 小時Ollama 在金融領域的應用
14 小時這門在 澳門 進行的授課式實地培訓,旨在賦予金融從業人員及資訊技術人員在本地實施 Ollama 的技能。學員將學習如何部署、配置並將大型語言模型整合至安全的金融工作流程中,同時應用合規與自動化的最佳實踐。
Ollama在醫療領域的應用
14 小時這門在 澳門 舉行的實地培訓,協助醫療專業人員和 IT 團隊部署 Ollama 以運行本地 LLM。學習如何將 AI 整合到臨床工作流程中,針對特定任務定製模型,並在安全的醫療環境中確保嚴格的数据隱私和法規遵循。
Ollama:取代 OpenAI 和 Claude API 的自托管大型語言模型
14 小時Ollama 是一款開源工具,可在消費級和企業級硬體上本地運行大型語言模型。它將模型量化、GPU 分配和 API 服務抽象化為單一命令列介面,使組織能夠自托管 Llama、Mistral 和 Qwen 等 LLM,而無需將提示或數據發送給 OpenAI、Anthropic 或 Google。