聯繫我們

課程簡介

安全的本地AI基礎

  • 在受監管環境中本地和內部AI的含義。
  • 雲AI與內部部署在敏感工作負載中的對比。
  • 私有助手和工作流支持的常見企業用例。
  • 安全的本地AI架構的核心組件。

Ollama與開源模型基礎

  • Ollama如何融入本地開發棧。
  • 在本地拉取、運行和管理模型。
  • 根據規模、質量、硬件和許可證選擇模型。
  • 將模型選項與實際的業務任務匹配。

準備內部環境

  • 主機、工作站和服務器的準備。
  • 安裝並配置Ollama以進行本地推理。
  • 使用容器和內部開發工具。
  • 驗證API訪問和基本操作準備。

有效使用本地模型

  • 運行提示並通過系統指令調整輸出。
  • 爲一致的企業任務重用模板。
  • 管理模型版本和內部工件。
  • 爲CPU和GPU部署進行基本性能調優。

構建實用的代理工作流

  • 在受控環境中,什麼是代理工作流。
  • 簡單的規劃、工具使用和響應循環模式。
  • 爲內部操作設計任務導向的助手。
  • 添加人工審查、備用邏輯和錯誤處理。

私有檢索工作流

  • 爲內部知識訪問構建檢索增強生成基礎。
  • 準備文檔以進行分塊、索引和搜索。
  • 將本地向量存儲連接到基於Ollama的應用。
  • 通過改進檢索模式提高相關性和答案質量。

安全、治理和合規實踐

  • 數據處理邊界和隱私考慮。
  • 訪問控制、日誌記錄和審計支持。
  • 提示安全、輸出控制和防護欄。
  • 受監管部署和操作的治理檢查點。

企業集成模式

  • 通過內部API暴露本地AI能力。
  • 將助手與內部應用和服務集成。
  • 支持助手、批處理和自動化工作流用例。
  • 確保解決方案保持在受控網絡邊界內。

評估本地AI解決方案

  • 評估質量、可靠性和一致性。
  • 根據業務、政策和安全需求進行測試。
  • 爲特定企業任務比較模型選項。
  • 爲內部團隊建立實用的改進週期。

動手實驗

  • 使用Ollama和開源模型構建私有助手。
  • 添加對已批准內部文檔的檢索。
  • 引入簡單的代理操作和安全控制。
  • 審查部署、操作和治理檢查點。

採用規劃與後續步驟

  • 回顧關鍵設計和部署決策。
  • 識別受監管AI項目中的常見陷阱。
  • 規劃試點用例和利益相關者對齊。
  • 制定安全的本地AI採用路線圖。

最低要求

  • 對AI概念和軟件開發有基本瞭解。
  • 熟悉命令行工具、容器或本地開發環境。
  • 具備基本的腳本或編程經驗。

受衆

  • 在內部基礎設施上構建私有AI解決方案的開發人員和技術團隊。
  • 在受監管環境中支持AI的安全、合規和平臺專業人員。
  • 金融、醫療、政府和國防領域評估本地AI採用的技術領導者。
 21 小時

課程分類