聯繫我們

課程簡介

安全本地AI基礎

  • 在受監管環境中,本地和私有AI的意義
  • 雲端AI與內部部署用於敏感工作負載之比較
  • 私人助手和工作流支援的常見企業用例
  • 安全本地AI架構的核心組成部分

Ollama與開放模型基礎

  • Ollama如何融入本地開發堆疊
  • 在本地拉取、運行及管理模型
  • 根據大小、品質、硬體及許可證選擇模型
  • 將模型選項與實際業務任務相匹配

準備私有環境

 
  • 主機、工作站及伺服器準備
  • 安裝並設定Ollama以進行本地推理
  • 使用容器及內部開發工具
  • 驗證API存取權限和基本運作準備情況

有效使用本地模型

  • 執行提示詞並透過系統指示塑造輸出內容
  • 重用模板以確保企業任務的一致性
  • 管理模型版本及內部資源
  • CPU與GPU部署的基本效能調整

建構實用協作工作流程

  • 在受控設定中,使工作流程具備協作能力的要素
  • 規劃、工具使用及回應循環的簡單模式
  • 為內部營運設計任務導向的助手
  • 加入人工審核、後備邏輯及錯誤處理機制

私有檢索工作流程

  • 用於內部知識存取之檢索增強生成的基礎
  • 準備文檔以進行分塊、索引及搜尋
  • 將本地向量資料庫連接至基於Ollama的應用程式
  • 透過改進的檢索模式提升相關性及回答品質

安全、治理與合規實踐

  • 數據處理邊界及隱私考量
  • 存取控制、日誌記錄及審計支援
  • 提示詞安全、輸出控制及安全網關
  • 受監管部署與運行的治理檢查點

企業整合模式

  • 透過內部API暴露本地AI功能
  • 將助手整合至內部應用程式和服務
  • 支援助手、批次處理及工作流程自動化用例
  • 將解決方案保持在受控網路邊界內

評估本地AI解決方案

  • 評估品質、可靠性及一致性
  • 針對業務、政策及安全要求進行測試
  • 比較特定企業任務的模型選項
  • 為內部團隊建立實用改進循環

動手實作實驗室

  • 使用Ollama和開放模型建構私人助手
  • 新增對已批准內部文檔的檢索功能
  • 引入簡單的協作動作及安全控制措施
  • 審視部署、運作及治理檢查點

採用規劃與後續步驟

  • 回顧關鍵設計與部署決策
  • 識別受監管AI專案中的常見陷阱
  • 規劃試點用例及利害關係人協調
  • 定義安全本地AI採用之路線圖

最低要求

  • 具備AI概念與軟體開發的基本理解
  • 熟悉命令列工具、容器或本地開發環境
  • 具備基本的腳本編寫或程式設計經驗

受眾

  • 在內部基礎設施上建構私人AI解決方案之開發人員和技術團隊
  • 在受監管環境中支援AI的安全性、合規性及平台專業人士
  • 評估私有AI採用之金融、醫療保健、政府及國防領域的技術領導者
 21 小時

課程分類