Ollama:以自託管大型語言模型取代 OpenAI 及 Claude API培訓
Ollama 是一款開源工具,允許在消費者級及企業級硬體上於本地運行大型語言模型。它將模型量化、GPU 資源分配及 API 服務抽象為單一命令列介面,使組織能夠自託管 Llama、Mistral 及 Qwen 等大型語言模型,而無須將提示詞或資料傳送至 OpenAI、Anthropic 或 Google。
這門由導師帶領的實地培訓(線上或現場)旨在服務中级 AI 工程師及平台運營人員,教導其使用 Ollama 取代雲端大型語言模型 API,轉而採用自託管的、具主權屬性的語言模型推理服務。
完成此培訓後,學員將能夠:
- 在支援 GPU 的 Linux、macOS 及 Windows 系統上安裝 Ollama。
- 從 Ollama 註冊表及 HuggingFace 拉取、量化並部署模型。
- 建構包含系統提示詞及參數調優的自訂 Modelfile。
- 透過 OpenAI 相容 API 將本地大型語言模型整合至應用程式。
- 針對僅使用 CPU 及多 GPU 設定優化推理效能。
課程形式
- 互動式演講與討論。
- 大量練習與實務操作。
- 在實作實驗室環境中進行動手實作。
課程自訂選項
- 如需為本課程申請自訂培訓,請聯絡我們以作安排。
課程簡介
AI 主權與大型語言模型本地部署
- 雲端大型語言模型的風險:數據留存、利用輸入進行訓練、外域管轄權。
- Ollama 架構:模型伺服器、註冊表及 OpenAI 相容 API。
- 與 vLLM、llama.cpp 及 Text Generation Inference 的比較。
- 模型授權條款:Llama、Mistral、Qwen 及 Gemma 的使用規定。
安裝與硬體設定
- 在支援 CUDA 及 ROCm 的 Linux 上安裝 Ollama。
- 僅使用 CPU 的備援方案及 AVX/AVX2 優化。
- Docker 部署及持久化卷映射。
- 多 GPU 設定及 VRAM 分配策略。
模型管理
- 從 Ollama 註冊表拉取模型:ollama pull llama3。
- 從 HuggingFace 及 TheBloke 匯入 GGUF 模型。
- 量化級別:Q4_K_M、Q5_K_M、Q8_0 的權衡。
- 模型切換及並行模型加載的限制。
自訂 Modelfiles
- 撰寫 Modelfile 語法:FROM、PARAMETER、SYSTEM、TEMPLATE。
- 溫度、top_p 及重複罰分調優。
- 針對特定角色行為進行系統提示詞工程。
- 創建並發布自訂模型至本地註冊表。
API 整合
- OpenAI 相容 /v1/chat/completions 端點。
- 串流回應及 JSON 模式。
- 與 LangChain、LlamaIndex 及自訂應用程式的整合。
- 使用反向代理進行身份驗證及速率限制。
效能優化
- 上下文窗口大小設定及 KV 快取管理。
- 批次推理及並行請求處理。
- CPU 線程分配及 NUMA 感知。
- 監控 GPU 使用率及記憶體壓力。
安全性與合規性
- 模型服務端點的網路隔離。
- 輸入過濾及輸出審批管線。
- 提示詞及生成結果的審計日誌記錄。
- 模型來源追蹤及雜湊驗證。
最低要求
- 中級 Linux 及容器管理知識。
- 對機器學習及 Transformer 模型具備高層面的理解。
- 熟悉 REST API 及 JSON。
目標受眾
- 希望取代雲端大型語言模型 API 的 AI 工程師及開發人員。
- 因數據敏感度限制而無法使用雲端模型的組織。
- 需要氣隙(Air-gapped)語言模型的政府及國防團隊。
需要幫助選擇合適的課程嗎?
macao@nobleprog.com 或 +852 81990613
Ollama:以自託管大型語言模型取代 OpenAI 及 Claude API培訓 - 詢問
Ollama:以自託管大型語言模型取代 OpenAI 及 Claude API - 咨詢詢問
相關課程
進階 Ollama 模型除錯與評估
35 小時使用 Ollama 構建私有 AI 工作流程
14 小時這項在 澳門(線上或線下)進行的講師主導實時培訓,旨在面向希望利用 Ollama 實施安全高效的 AI 驅動工作流程的高級專業人士。
在本課程結束時,參與者將能夠:
- 部署和配置 Ollama 以進行私有 AI 處理。
- 將 AI 模型集成到企業安全工作流程中。
- 在保持數據隱私的同時優化 AI 性能。
- 利用本地 AI 功能自動化業務流程。
- 確保符合企業安全和治理政策。
使用Ollama部署及最佳化大型語言模型
14 小時此澳門課程由講師帶領並現場實施(線上或線下),旨在幫助具備中等水平專業技能的從業人員,學習如何使用Ollama部署、最佳化及整合LLM。
完成培訓後,參與者將能夠:
- 使用Ollama設置並部署大型語言模型。
- 針對效能和效率最佳化AI模型。
- 利用GPU加速提升推理速度。
- 將Ollama整合至工作流程與應用程式中。
- 監控並維持AI模型的長期效能。
EXO:端到端本地 AI 集群部署
21 小時本課程在 澳門 提供(線上或線下 Live 培訓),旨在幫助希望為多個 Apple Silicon 或 Linux 節點部署、配置和管理 EXO 集群以進行私有 LLM 推理的系統管理員和 DevOps 工程師。
EXO for DevOps:建構私有 AI 基礎設施
21 小時此在 澳門(線上或線下)提供的現場講授實時培訓,主要針對希望自動化配置、監控和管理基於 EXO 建構的私有 AI 叢集生命週期的 DevOps 工程師和基礎架構架構師。
EXO 安全性與治理:離線模型管理
14 小時這項在 澳門 的導師指導即時培訓(線上或線下),旨在幫助希望強化 EXO 部署、控制模型存取,並治理完全在本地運行的人工智慧工作負載的安全工程師和合規官。
在Ollama上微調和自訂AI模型
14 小時這項在澳門(線上或線下)舉辦、由講師指導的即時培訓,旨在服務那些希望透過在Ollama上微調和自訂AI模型以增強效能及應用於特定領域的高階專業人士。
完成本課程後,學員將能夠:
- 建立高效的環境以在Ollama上微調AI模型。
- 準備用於監督式微調和強化學習的資料集。
- 優化AI模型的效能、準確性和效率。
- 在生產環境中部署自訂模型。
- 評估模型改進情況並確保其穩定性。
安全的本地協作式AI:受監管產業的私有Ollama開發
21 小時本在澳門(線上或線下)提供的講師親自指導培訓,主要對象為希望使用Ollama和開放模型,在內部基礎設施上建置並運行私人協作式AI解決方案之開發人員和技術團隊。
完成本培訓後,學員將能夠:安裝並設定Ollama、評估並在本地運行開放模型、建立簡單的協作式及檢索型工作流程,並為受監管環境實施安全與治理控制措施。
使用 Ollama 打造多模態應用
21 小時入門 Ollama:運行本地 AI 模型
7 小時此課程由講師指導進行實戰培訓(線上或線下),主要面向初級專業人士,幫助他們安裝、配置和使用 Ollama 在本地機器上運行 AI 模型。
完成本課程後,學員將能夠:
- 理解 Ollama 的基本概念及其功能。
- 設置 Ollama 以運行本地 AI 模型。
- 使用 Ollama 部署並與 LLMs 進行互動。
- 優化 AI 工作負載的性能和資源使用情況。
- 探索各行业中本地 AI 部署的案例。
Ollama 與數據隱私:安全部署模式
14 小時Ollama 在金融領域的應用
14 小時這門在 澳門 進行的授課式實地培訓,旨在賦予金融從業人員及資訊技術人員在本地實施 Ollama 的技能。學員將學習如何部署、配置並將大型語言模型整合至安全的金融工作流程中,同時應用合規與自動化的最佳實踐。
Ollama在醫療領域的應用
14 小時這門在 澳門 舉行的實地培訓,協助醫療專業人員和 IT 團隊部署 Ollama 以運行本地 LLM。學習如何將 AI 整合到臨床工作流程中,針對特定任務定製模型,並在安全的醫療環境中確保嚴格的数据隱私和法規遵循。
Ollama 負責任 AI 與治理
14 小時監管機構組織的主權AI:控制數據、模型與推理環境
7 小時這門於澳門舉辦的講師指導培訓課程(線上或線下),目標受眾為初級至中階的IT領導者、合規專業人員、安全團隊和企業架構師。他們希望運用主權AI原則與治理實踐,設計能保護敏感數據、支持本地化合規要求,並降低供應商鎖定風險的AI環境。
完成本培訓後,參與者將能夠:解釋主權AI概念,評估託管與治理選項,定義提示詞與日誌的控制措施,並創建實用的採用路線圖。