建立安全且負責任的大型語言模型應用培訓
大型語言模型應用安全是設計、建構及維護使用大型語言模型的系統,以確保其安全性、可信賴性並符合政策規範的一門專業領域。
本課程由講者親自指導的實體或線上培訓,旨在協助中階至高階的AI開發人員、架構師與產品經理識別降低LLM應用風險(如提示注入、資料外洩及未經過濾的輸出),同時導入輸入驗證、人機互動監督以及輸出防護等安全控制機制。
完成本培訓後,參與者將能夠:
- 理解LLM系統的核心漏洞。
- 應用安全設計原則於LLM應用程式架構。
- 使用Guardrails AI及LangChain等工具進行驗證、過濾及安全防護。
- 將沙箱技術、紅隊演練及人機互動審查整合至生產級流程中。
課程形式
- 互動式講授與討論。
- 大量的練習與實作。
- 在即時實驗室環境中的實作演練。
課程客製化選項
- 如需此課程的客製化培訓,請聯絡我們安排。
課程簡介
LLM架構與攻擊表面概覽
- LLM如何建構、部署並透過API存取
- LLM應用堆疊中的關鍵組件(例如提示、智能體、記憶體、API)
- 實際應用中安全問題產生之處及原因
提示注入與越獄攻擊
- 何為提示注入及其危險性
- 直接與間接提示注入情境
- 繞過安全過濾器的越獄技術
- 偵測與減輕策略
資料外洩與隱私風險
- 透過回應意外暴露的資料
- 個人資訊外洩與模型記憶體誤用
- 設計兼顧隱私的提示及檢索增強生成(RAG)
LLM輸出過濾與防護
- 使用Guardrails AI進行內容過濾與驗證
- 定義輸出模式與約束條件
- 監控與記錄不安全輸出
人機互動與工作流方法
- 何處及何時導入人工監督
- 審核佇列、評分閾值、降級處理
- 信任校準與可解釋性的角色
安全LLM應用設計模式
- 最小權限原則及對API呼叫和智能體進行沙箱隔離
- 速率限制、節流及濫用偵測
- 結合LangChain與提示隔離的穩健串接
合規性、日誌與治理
- 確保LLM輸出的可審計性
- 維持追蹤性及提示/版本控制
- 符合內部安全政策與法規需求
總結與下一步
最低要求
- 了解大型語言模型及基於提示介面的概念
- 具備使用Python建構LLM應用的經驗
- 熟悉API整合與雲端部署
對象
- AI開發人員
- 應用程式及解決方案架構師
- 使用LLM工具的產品經理
需要幫助選擇合適的課程嗎?
macao@nobleprog.com 或 +852 81990613
建立安全且負責任的大型語言模型應用培訓 - 詢問
建立安全且負責任的大型語言模型應用 - 咨詢詢問
相關課程
進階 LangGraph:優化、偵錯與複雜圖表的監控
35 小時這門由講師帶領的 澳門 實務訓練,專為尋求優化、偵錯、監控並運維生產級 LangGraph 系統的進階 AI 平台工程師、AI DevOps 人員及 ML 架構師設計,適用於以可組合圖表結構建置具備狀態的多參與者 LLM 應用程式。
使用 Devstral 構建編碼智能體:從設計到工具整合
14 小時在澳門 澳門 舉行的這堂現場培訓中,精通 Devstral。課程涵蓋架構、智能體工作流設計及工具整合。該課程理想適合高級工程師,透過動手實驗室構建能提升現代開發環境中生產力與安全性的編碼智能體。
開源模型運維:使用 Devstral 與 Mistral 模型進行自我託管、微調與治理
14 小時這門在 澳門 進行的講師實時培訓課程,旨在幫助機械學習工程師掌握 Devstral 和 Mistral 模型的自我託管與微調技巧。學員將學習實務性的治理、監控及合規技術,以便在生產環境中自信地部署開源人工智能。
LangGraph 在金融領域的應用
35 小時這門由 澳門 提供講師授課的培訓課程,旨在幫助專業人員設計基於 LangGraph 的金融解決方案。參與者將學習如何實現符合監管要求的工作流程、整合數據標準,並部署具備強大治理、可觀測性及合規控制能力的系統。
LangGraph 基礎:基於圖的 LLM 提示工程與鏈式處理
14 小時這門由講師主導的 澳門 LangGraph 基礎課程旨在賦能開發者構建基於圖的 LLM 應用。學員將學習節點與邊、狀態管理及分支邏輯等核心概念,整合工具、檢索及外部 API,並透過實戰實驗測試與部署可靠的工作流程。
LangGraph 於醫療領域:監管環境中的工作流程編排
35 小時探索 LangGraph 在醫療領域的應用,本實時培訓在 澳門 進行,專為中級至高級專業人員打造。學習設計有狀態且合規的工作流程,整合 FHIR 和 SNOMED CT 等標準,並應對監管環境中的倫理和運營挑戰。
用於法律應用程式的 LangGraph
35 小時透過這門 35 小時的導師帶領培訓,在 澳門 掌握用於法律應用程式的 LangGraph。本課程適合中級至高級專業人士,涵蓋工作流設計、合規性控制和人工介入審批。自信地構建可審計、生產就緒的 LLM 解決方案。
使用 LangGraph 和 LLM 智能體構建動態工作流
14 小時本課程為實時線上或現場授課,地點位於澳門,旨在引導中等水平工程師利用 LangGraph 構建動態 LLM 工作流。學員將學習如何設計有狀態圖、實現分支邏輯,並集成檢索、API 和記憶,以打造強健且具備情境感知能力的應用程序。
LangGraph 用於營銷自動化
14 小時Le Chat Enterprise:私人ChatOps、整合與管理員控制
14 小時本澳門內的即時培訓涵蓋 Le Chat Enterprise,這是一款用於安全、受治理對話式 AI 的私有 ChatOps 解決方案。學員將學習如何部署、配置並將其與企業應用進行整合,從而啟用 RBAC、SSO 及基於合規性的控制措施,以實現可擴展且安全的 AI 工作流。
具成本效益的 LLM 架構:大規模 Mistral(效能/成本工程)
14 小時透過這門 澳門 的 14 小時實時培訓,掌握具成本效益的 Mistral LLM 架構。學習如何部署、優化並擴展 Mistral Medium 3,利用批次處理、量化及高效服務策略,針對企業工作負載實現最大吞吐量與最低成本。
使用 Mistral 連接器與整合功能將對話式助手產品化
14 小時本實時培訓課程涵蓋將 Mistral 對話式助手整合至企業工作流程的內容。澳門 參與者將學習連接 SaaS 工具、實施檢索增強生成(RAG),並為面向客戶及內部的聊天界面設計有效的用戶體驗(UX)模式。
使用 Mistral Medium 3 進行企業級部署
14 小時這門在 澳門 舉行的講師主導培訓,協助高級 AI 工程師部署並保護 Mistral Medium 3。您將學習如何優化推理成本、實作多模態應用場景,並應用企業合規實務。課程包含 API 及自託管設置的動手實驗室。
Mistral 負責任 AI:隱私、資料駐留及企業級控制
14 小時這門在 澳門 舉行的 Mistral 負責任 AI 現場培訓課程,專為合規及安全負責人設計。學員將掌握隱私保護技術、資料駐留策略,以及 RBAC 和 SSO 等企業級控制機制,以確保 AI 部署的安全與合規性。
使用 Mistral 模型構建多模態應用(視覺、OCR 及文件理解)
14 小時學習使用 Mistral 模型構建多模態應用,重點關注 OCR、文件理解及視覺-文本搜索。這門實戰培訓涵蓋管道實現、NLP 集成及企業級設計,可線上或在 澳門 進行。