建立安全且負責任的大型語言模型應用培訓
大型語言模型應用安全是設計、建構及維護使用大型語言模型的系統，以確保其安全性、可信賴性並符合政策規範的一門專業領域。
本課程由講者親自指導的實體或線上培訓，旨在協助中階至高階的AI開發人員、架構師與產品經理識別降低LLM應用風險（如提示注入、資料外洩及未經過濾的輸出），同時導入輸入驗證、人機互動監督以及輸出防護等安全控制機制。
完成本培訓後，參與者將能夠：
- 理解LLM系統的核心漏洞。
- 應用安全設計原則於LLM應用程式架構。
- 使用Guardrails AI及LangChain等工具進行驗證、過濾及安全防護。
- 將沙箱技術、紅隊演練及人機互動審查整合至生產級流程中。
課程形式
- 互動式講授與討論。
- 大量的練習與實作。
- 在即時實驗室環境中的實作演練。
課程客製化選項
- 如需此課程的客製化培訓，請聯絡我們安排。
感謝您提交詢問！我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂！我們的一位團隊成員將在短時間內與您聯繫。
課程時長 14 時間：
課程簡介
LLM架構與攻擊表面概覽
- LLM如何建構、部署並透過API存取
- LLM應用堆疊中的關鍵組件（例如提示、智能體、記憶體、API）
- 實際應用中安全問題產生之處及原因
提示注入與越獄攻擊
- 何為提示注入及其危險性
- 直接與間接提示注入情境
- 繞過安全過濾器的越獄技術
- 偵測與減輕策略
資料外洩與隱私風險
- 透過回應意外暴露的資料
- 個人資訊外洩與模型記憶體誤用
- 設計兼顧隱私的提示及檢索增強生成（RAG）
LLM輸出過濾與防護
- 使用Guardrails AI進行內容過濾與驗證
- 定義輸出模式與約束條件
- 監控與記錄不安全輸出
人機互動與工作流方法
- 何處及何時導入人工監督
- 審核佇列、評分閾值、降級處理
- 信任校準與可解釋性的角色
安全LLM應用設計模式
- 最小權限原則及對API呼叫和智能體進行沙箱隔離
- 速率限制、節流及濫用偵測
- 結合LangChain與提示隔離的穩健串接
合規性、日誌與治理
- 確保LLM輸出的可審計性
- 維持追蹤性及提示/版本控制
- 符合內部安全政策與法規需求
總結與下一步
最低要求
- 了解大型語言模型及基於提示介面的概念
- 具備使用Python建構LLM應用的經驗
- 熟悉API整合與雲端部署
對象
- AI開發人員
- 應用程式及解決方案架構師
- 使用LLM工具的產品經理
需要幫助選擇合適的課程嗎？
macao@nobleprog.com 或 +852 81990613
建立安全且負責任的大型語言模型應用培訓 - 詢問
建立安全且負責任的大型語言模型應用 - 咨詢詢問
相關課程
進階 LangGraph：優化、除錯與監控複雜圖
35 小時
本講師指導的實地培訓在 澳門 舉行，針對高級 AI 平台工程師、AI DevOps 專員及 ML 架構師，旨在優化、除錯、監控並運維用於有狀態、多參與者 LLM 應用（作為組合式圖）的生產級 LangGraph 系統。
更多...
運用 Devstral 建構編碼智能體：從智能體設計到工具整合
14 小時
在 澳門 舉行的這場實時培訓中，深入掌握 Devstral。課程涵蓋架構、智能體工作流設計及工具整合。該課程適合高級工程師，透過動手實驗，建構能提升現代開發環境中生產力與安全性的編碼智能體。
更多...
開源模型運營：使用 Devstral 與 Mistral 模型實現自我託管、微調與治理
14 小時
這門由講師主導的 澳門 培訓面向希望掌握 Devstral 和 Mistral 模型自我託管和微調的機器學習工程師。參與者將學習實踐性的治理、監控和合規技術，以信心十足地在生產環境中部署開源人工智能。
更多...
金融領域的 LangGraph 應用
35 小時
這門關於 澳門 的講師主導培訓課程，幫助專業人士設計基於 LangGraph 的金融解決方案。參與者將學習實施符合監管要求的工作流、整合數據標準，並部署具備強大治理、可觀察性及合規控制的系統。
更多...
LangGraph 基礎：基於圖的 LLM 提示與鏈接
14 小時
這門由講師帶領的 LangGraph 基礎課程在 澳門 為開發人員配備構建基於圖的 LLM 應用的技能。學習節點和邊、狀態管理和分支邏輯等核心概念。集成工具、檢索和外部 API，然後通過實操實驗室測試和部署可靠的工作流。
更多...
LangGraph 在醫療領域的應用：受監管環境下的工作流程編排
35 小時
通過這門在 澳門 進行的實時培訓，探索 LangGraph 在醫療領域的應用，專為中級至高級專業人士設計。學習設計狀態化、合規的工作流程，集成 FHIR 和 SNOMED CT 等標準，並應對受監管環境中的倫理和運營挑戰。
更多...
LangGraph 在法務應用程式中的應用
35 小時
透過這門 35 小時的講師主導培訓掌握用於法務應用程式的 LangGraph。澳門。此課程旨在幫助中高級專業人員，涵蓋工作流設計、合規控制和人在環審批。自信地構建可審計、生產就緒的 LLM 解決方案。
更多...
利用 LangGraph 與 LLM 智能體構建動態工作流程
14 小時
這門在 澳門 舉行的線上或現場實地課程，指引中級工程師使用 LangGraph 構建動態 LLM 工作流程。學習設計有狀態圖、實施分支邏輯，並整合檢索、API 及記憶，以打造穩健且具情境感知能力的应用程序。
更多...
LangGraph 用於營銷自動化
14 小時
這是由導師帶領的 澳門 培訓課程，介紹 LangGraph 在營銷自動化中的應用。參與者將學習如何設計條件式內容工作流程、整合大型語言模型（LLM）以實現個性化電子郵件營銷活動，並管理跨多步驟管道的狀態，從而獲得現代營銷所需的實戰技能。
更多...
Le Chat Enterprise：私有 ChatOps、整合及管理控制
14 小時
本澳門實時培訓涵蓋 Le Chat Enterprise，這是一項用於安全、受管治對話式 AI 的私有 ChatOps 解決方案。學員將學習其部署、配置及與企業應用程式的整合，並啟用 RBAC、SSO 及基於合規要求的控制措施，以實現可擴展且安全的 AI 工作流程。
更多...
高性價比 LLM 架構：大規模部署 Mistral（效能與成本工程）
14 小時
透過這門 14 小時的實時培訓課程，掌握高性價比的 Mistral LLM 架構 澳門。學習如何部署、優化並擴展 Mistral Medium 3，以實現最大吞吐量並最小化成本，利用批處理、量化及高效服務策略滿足企業級工作負載需求。
更多...
透過 Mistral 連接器與集成實現對話式助理的產品化
14 小時
這項在 澳門 進行的實地培訓涵蓋了將 Mistral 對話式助理集成到企業工作流程的內容。參與者將學習如何連接 SaaS 工具，實施檢索增強生成技術，並為面向客戶及內部的聊天界面設計有效的用戶體驗模式。
更多...
企業級部署：Mistral Medium 3
14 小時
這門在 澳門 舉行的講師帶頭培訓課程，協助高級 AI 工程師部署並保護 Mistral Medium 3。您將學習如何優化推論成本、實現多模態應用場景，並落實企業合規實踐。課程包含針對 API 及自託管設置的動手實驗。
更多...
Mistral 負責任的 AI：隱私、資料 residency 及企業控制
14 小時
這是在 澳門 舉行的 Mistral 負責任 AI 實時培訓，專為合規及安全負責人設計。您將掌握隱私保護技術、數據駐留策略，以及 RBAC 和 SSO 等企業級控制機制，以確保 AI 部署的安全與合規。
更多...
使用Mistral模型構建多模態應用程式（視覺、OCR及文件理解）
14 小時
學習如何使用Mistral模型構建多模態應用程式，重點關注OCR、文件理解及視覺-文本搜索。此實戰培訓涵蓋管道實現、NLP集成及企業級設計，透過線上或澳門方式提供。
更多...
