聯繫我們
 課程時長 14 時間:

課程簡介

AI 主權與大型語言模型本地部署

  • 雲端大型語言模型的風險:數據留存、利用輸入進行訓練、外域管轄權。
  • Ollama 架構:模型伺服器、註冊表及 OpenAI 相容 API。
  • 與 vLLM、llama.cpp 及 Text Generation Inference 的比較。
  • 模型授權條款:Llama、Mistral、Qwen 及 Gemma 的使用規定。

安裝與硬體設定

  • 在支援 CUDA 及 ROCm 的 Linux 上安裝 Ollama。
  • 僅使用 CPU 的備援方案及 AVX/AVX2 優化。
  • Docker 部署及持久化卷映射。
  • 多 GPU 設定及 VRAM 分配策略。

模型管理

  • 從 Ollama 註冊表拉取模型:ollama pull llama3。
  • 從 HuggingFace 及 TheBloke 匯入 GGUF 模型。
  • 量化級別:Q4_K_M、Q5_K_M、Q8_0 的權衡。
  • 模型切換及並行模型加載的限制。

自訂 Modelfiles

  • 撰寫 Modelfile 語法:FROM、PARAMETER、SYSTEM、TEMPLATE。
  • 溫度、top_p 及重複罰分調優。
  • 針對特定角色行為進行系統提示詞工程。
  • 創建並發布自訂模型至本地註冊表。

API 整合

  • OpenAI 相容 /v1/chat/completions 端點。
  • 串流回應及 JSON 模式。
  • 與 LangChain、LlamaIndex 及自訂應用程式的整合。
  • 使用反向代理進行身份驗證及速率限制。

效能優化

  • 上下文窗口大小設定及 KV 快取管理。
  • 批次推理及並行請求處理。
  • CPU 線程分配及 NUMA 感知。
  • 監控 GPU 使用率及記憶體壓力。

安全性與合規性

  • 模型服務端點的網路隔離。
  • 輸入過濾及輸出審批管線。
  • 提示詞及生成結果的審計日誌記錄。
  • 模型來源追蹤及雜湊驗證。

最低要求

  • 中級 Linux 及容器管理知識。
  • 對機器學習及 Transformer 模型具備高層面的理解。
  • 熟悉 REST API 及 JSON。

目標受眾

  • 希望取代雲端大型語言模型 API 的 AI 工程師及開發人員。
  • 因數據敏感度限制而無法使用雲端模型的組織。
  • 需要氣隙(Air-gapped)語言模型的政府及國防團隊。

課程分類