聯繫我們

課程簡介

第 1 天
現代 AI 代理程式的解剖

超越聊天機器人的代理程式,作為自主推理與行動系統

反應式、主動式、混合式及目標導向的代理程式範式

核心元件:感知、規劃、記憶體、工具使用、行動

單體與多體設計權衡

代理程式框架與現代技術棧

LangChain、LlamaIndex、AutoGen、CrewAI 及其權衡

與 JADE 及 SPADE 等傳統框架的比較

根據生產需求選擇框架

工具呼叫、函數呼叫及結構化輸出

實作:使用工具呼叫搭建單個 Python 代理程式

多代理程式系統架構

集中式、分散式、混合式及分層 MAS 設計

FIPA ACL、訊息傳遞及現代等效物

協調模式:規劃、協商、同步

代理程式群體中的湧現行為與自組織

代理程式的決策與學習

博弈論在合作與競爭代理互動中的应用

多代理環境中的強化學習

跨代理的遷移學習與知識共享

協調代理之間的衝突解決與信任

第 2 天
代理程式的多模態基礎

多模態 AI 作為貫穿文字、影像、語音和影片的統一工作流程

領先的多模態模型:GPT-4 Vision、Gemini、Claude、Whisper

整合代理程式推理迴路中多模態的融合技術

多模態管線中的延遲、成本與準確性權衡

建構感知層

代理程式的影像處理:分類、標註、物體偵測

使用 Whisper ASR 和串流轉錄的語音辨識

語音合成與自然語音互動

將感知輸出連接到由 LLM 驅動的推理與工具選擇

實作 - 在 Python 中建構多模態代理程式

定義代理程式的任務、上下文視窗及工具清單

端到端連接 GPT-4 Vision 和 Whisper API

實現記憶體、狀態及對話管理

添加安全產生真實世界副作用的工具呼叫

實作 - 協調多代理程式系統

使用 AutoGen 或 CrewAI 組合專用代理程式

定義角色、職責及代理間通訊協定

模擬環境中的資源分配與協調

記錄代理推理、工具呼叫及決策以供檢查和審核

第 3 天
生產 AI 代理程式的威脅面

使代理式 AI 比傳統軟體更具脆弱性的原因

攻擊表面:資料、模型、提示、工具、輸出及介面層

具有自主工具使用的基於代理系統的威脅建模

將 AI 網絡安全實踐與傳統網絡安全比較

對抗攻擊實作

對抗樣例和擾動方法:FGSM、PGD、DeepFool

白盒 versus 黑盒攻擊場景

模型反演與成員推論攻擊

訓練期間的資料毒化與後門注入

基於 LLM 代理程式中的提示注入、越獄及工具濫用

防禦技術與模型鞏固

對抗訓練與資料增強策略

防禦性蒸餾及其他魯棒性技術

輸入預處理、梯度遮蔽及正則化

差分隱私、噪聲注入及隱私預算

分散式訓練的聯邦學習與安全聚合

對抗魯棒性工具箱實作

模擬對第 2 天建構的多模態代理程式的攻擊

測量擾動下的魯棒性及量化衰退

迭代應用防禦並重新評估攻擊成功率

壓力測試工具呼叫路徑及提示注入向量

第 4 天
AI 的風險管理框架

NIST AI 風險管理框架:治理、映射、測量、管理

ISO/IEC 42001 及新興 AI 特定標準

將 AI 風險映射到現有企業 GRC 框架

AI 問責制、可審計性及文件要求

代理系統的法律法規合規性

歐盟 AI 法案:風險分級、禁止用途及高風險系統的義務

GDPR 和 CCPA 對代理資料管線的影響

美國關於安全、可信賴且可靠 AI 的行政命令

金融、醫療保健及公共服務的部門特定指導

第三方風險及供應商 AI 工具使用

道德、偏見及可解釋性

跨代理感知與推理的偏見檢測與緩解

可解釋性與透明度作為相關安全的屬性

公平性、下游損害及負責任的部署

設計包容性、可審計的代理行為

生產部署、監控與事故回應

單體與多代理程式系統的安全部署模式

持續監控漂移、異常及濫用

代理行動的日誌、審計軌跡及法醫準備

AI 安全事故回應腳本及恢復

真實世界 AI 漏洞的案例研究及教訓

結項與綜合

回顧課程中建構的多模態多代理程式系統

端到端管線回顧:設計、建構、安全、治理、部署

根據 NIST AI RMF 功能對系統進行自我評估

前瞻代理式 AI 及 AI 安全的新興趨勢

總結與下一步

最低要求

目標受眾

為生產用途建構代理系統的 AI 工程師與架構師。負責金融、醫療保健及顧問等監管行業中 AI 保證的網絡安全、風險及合規專業人員。將多模態和多代理程式能力嵌入企業平台的資深開發人員和解決方案負責人。

 28 小時

客戶評論 (3)

課程分類