AI Inference and Deployment with CloudMatrix培訓
CloudMatrix 是華為統一的 AI 開發和部署平台,旨在支持可擴展的生產級推理管道。
這項由講師指導的培訓(線上或線下)面向希望使用 CloudMatrix 平台(整合 CANN 和 MindSpore)部署和監控 AI 模型的初級到中級 AI 專業人士。
培訓結束後,參與者將能夠:
- 使用 CloudMatrix 進行模型封裝、部署和服務。
- 為 Ascend 芯片組轉換和優化模型。
- 為即時和批量推理任務設置管道。
- 在生產環境中監控部署並調整性能。
課程形式
- 互動式講座和討論。
- 使用 CloudMatrix 進行實際部署場景的實操。
- 專注於轉換、優化和擴展的指導練習。
課程定制選項
- 如需根據您的 AI 基礎設施或雲環境定制此課程,請聯繫我們安排。
課程簡介
華為雲Matrix簡介
- 雲Matrix生態系統與部署流程
- 支援的模型、格式和部署模式
- 典型用例與支援的晶片組
準備模型部署
- 從訓練工具匯出模型(MindSpore, TensorFlow, PyTorch)
- 使用ATC(Ascend Tensor Compiler)進行格式轉換
- 靜態與動態形狀模型
部署到雲Matrix
- 服務創建與模型註冊
- 通過UI或CLI部署推理服務
- 路由、身份驗證與存取控制
處理推理請求
- 批次與即時推理流程
- 數據預處理與後處理管道
- 從外部apps呼叫雲Matrix服務
監控與性能調優
- 部署日誌與請求追蹤
- 資源擴展與負載平衡
- 延遲調優與吞吐量優化
與企業工具整合
- 將雲Matrix與OBS和ModelArts連接
- 使用工作流程與模型版本控制
- 用於模型部署與回滾的CI/CD
端到端推理管道
- 部署完整的圖像分類管道
- 基準測試與驗證準確性
- 模擬故障轉移與系統警報
總結與下一步
最低要求
- 了解AI模型训练工作流程
- 具备Python为基础的机器学习框架经验
- 对云部署概念有基本了解
受众
- AI运维团队
- 机器学习工程师
- 使用华为基础设施的云部署专家
需要幫助選擇合適的課程嗎?
AI Inference and Deployment with CloudMatrix培訓 - Enquiry
AI Inference and Deployment with CloudMatrix - 咨詢詢問
咨詢詢問
客戶評論 (1)
逐步进行的培训,包含大量练习。整个过程就像一场工作坊,对此我感到非常满意。
Ireneusz - Inter Cars S.A.
Course - Intelligent Applications Fundamentals
機器翻譯
相關課程
Developing AI Applications with Huawei Ascend and CANN
21 時間:Huawei Ascend 是一系列专为高性能推理和训练设计的AI处理器。
本课程为讲师指导的培训(线上或线下),面向中级AI工程师和数据科学家,旨在帮助他们使用华为的Ascend平台和CANN工具包开发和优化神经网络模型。
在本培训结束时,参与者将能够:
- 设置和配置CANN开发环境。
- 使用MindSpore和CloudMatrix工作流开发AI应用。
- 使用自定义运算符和分块优化Ascend NPU的性能。
- 将模型部署到边缘或云环境。
课程形式
- 互动讲座和讨论。
- 在示例应用中动手使用Huawei Ascend和CANN工具包。
- 专注于模型构建、训练和部署的指导练习。
课程定制选项
- 如需根据您的基础设施或数据集定制本课程,请联系我们安排。
Deploying AI Models with CANN and Ascend AI Processors
14 時間:CANN(面向Neural Networks的计算架构)是华为的AI计算堆栈,用于在昇腾AI处理器上部署和优化AI模型。
本课程为讲师指导的培训(线上或线下),面向中级AI开发者和工程师,旨在帮助他们使用CANN工具包及MindSpore、TensorFlow或PyTorch等工具,将训练好的AI模型高效部署到Huawei Ascend硬件上。
通过本课程,学员将能够:
- 了解CANN架构及其在AI部署流程中的作用。
- 将模型从流行框架转换并适配为昇腾兼容格式。
- 使用ATC、OM模型转换和MindSpore等工具进行边缘和云端推理。
- 诊断部署问题并优化昇腾硬件的性能。
课程形式
- 互动式讲座与演示。
- 使用CANN工具和昇腾模拟器或设备进行实操练习。
- 基于真实AI模型的实用部署场景。
课程定制选项
- 如需为本课程定制培训,请联系我们安排。
AI Engineering Fundamentals
14 時間:這種以講師為主導的澳門(在線或現場)現場培訓面向希望獲得對 AI 工程原理和實踐有基本瞭解的初級到中級 AI 工程師和軟體開發人員。
在培訓結束時,參與者將能夠:
- 瞭解 AI 和機器學習背後的核心概念和技術。
- 使用 TensorFlow 和 PyTorch 實現基本的機器學習模型。
- 應用人工智慧技術解決軟體開發中的實際問題。
- 使用 AI 工程中的最佳實踐管理和維護 AI 專案。
- 認識到開發人工智慧系統所涉及的倫理影響和責任。
GPU Programming on Biren AI Accelerators
21 時間:Biren AI Accelerators are high-performance GPUs designed for AI and HPC workloads with support for large-scale training and inference.
This instructor-led, live training (online or onsite) is aimed at intermediate-level to advanced-level developers who wish to program and optimize applications using Biren’s proprietary GPU stack, with practical comparisons to CUDA-based environments.
By the end of this training, participants will be able to:
- Understand Biren GPU architecture and memory hierarchy.
- Set up the development environment and use Biren’s programming model.
- Translate and optimize CUDA-style code for Biren platforms.
- Apply performance tuning and debugging techniques.
Format of the Course
- Interactive lecture and discussion.
- Hands-on use of Biren SDK in sample GPU workloads.
- Guided exercises focused on porting and performance tuning.
Course Customization Options
- To request a customized training for this course based on your application stack or integration needs, please contact us to arrange.
Building Intelligent Applications with AI and ML
28 時間:這種以講師為主導的澳門(在線或現場)現場培訓面向中級到高級 AI 專業人員和
希望使用 AI 和 ML 構建智慧應用程式的軟體開發人員。
在培訓結束時,參與者將能夠:
- 瞭解 AI 和 ML 背後的先進概念和技術。
- 分析和可視化數據,為 AI/ML 模型開發提供資訊。
- 有效地構建、訓練和部署 AI/ML 模型。
- 創建可以解決實際問題的智慧應用程式。
- 評估人工智慧應用在各行各業的倫理影響。
Introduction to CANN for AI Framework Developers
7 時間:CANN for Edge AI Deployment
14 時間:華為的Ascend CANN工具包能夠在邊緣設備(如Ascend 310)上實現強大的AI推理。CANN提供了在計算和內存受限的環境中編譯、優化和部署模型的必要工具。
這項由講師指導的培訓(線上或線下)針對希望使用CANN工具鏈在Ascend邊緣設備上部署和優化模型的中級AI開發者和集成商。
在培訓結束時,參與者將能夠:
- 使用CANN工具為Ascend 310準備和轉換AI模型。
- 使用MindSpore Lite和AscendCL構建輕量級推理管道。
- 在計算和內存有限的環境中優化模型性能。
- 在實際邊緣用例中部署和監控AI應用程序。
課程形式
- 互動式講座和演示。
- 針對邊緣特定模型和場景的動手實驗。
- 在虛擬或物理邊緣硬件上的即時部署示例。
課程定制選項
- 如需為本課程定制培訓,請聯繫我們進行安排。
Understanding Huawei’s AI Compute Stack: From CANN to MindSpore
14 時間:Optimizing Neural Network Performance with CANN SDK
14 時間:CANN SDK(Neural Networks 的計算架構)是華為的 AI 計算基礎,允許開發者在 Ascend AI 處理器上微調和優化已部署的神經網絡性能。
這是一個由講師主導的培訓(線上或線下),旨在針對高級 AI 開發者和系統工程師,他們希望使用 CANN 的先進工具集(包括 Graph Engine、TIK 和自定義算子開發)來優化推理性能。
培訓結束時,參與者將能夠:
- 了解 CANN 的運行時架構和性能生命周期。
- 使用性能分析工具和 Graph Engine 進行性能分析和優化。
- 使用 TIK 和 TVM 創建和優化自定義算子。
- 解決內存瓶頸並提高模型吞吐量。
課程形式
- 互動式講座和討論。
- 實時性能分析和算子調優的實踐實驗室。
- 使用邊緣案例部署示例的優化練習。
課程定制選項
- 如需為此課程請求定制培訓,請聯繫我們進行安排。
CANN SDK for Computer Vision and NLP Pipelines
14 時間:CANN SDK(Neural Networks 的计算架构)为计算机视觉和自然语言处理(NLP)中的实时AI应用提供了强大的部署和优化工具,特别是在Huawei Ascend硬件上。
本课程为讲师指导的培训(线上或线下),面向中级AI从业者,旨在帮助他们使用CANN SDK构建、部署和优化视觉与语言模型,以应对实际生产用例。
培训结束后,学员将能够:
- 使用CANN和AscendCL部署和优化CV与NLP模型。
- 使用CANN工具转换模型并将其集成到实时管道中。
- 优化检测、分类和情感分析等任务的推理性能。
- 为边缘或云端部署场景构建实时CV/NLP管道。
课程形式
- 互动讲座与演示。
- 动手实验:模型部署与性能分析。
- 使用真实CV和NLP用例设计实时管道。
课程定制选项
- 如需为本课程定制培训,请联系我们进行安排。
Building Custom AI Operators with CANN TIK and TVM
14 時間:CANN TIK (Tensor Instruction Kernel) 和 Apache TVM 能够为 Huawei Ascend 硬件实现 AI 模型算子的高级优化和定制。
这门由讲师指导的培训(线上或线下)面向希望使用 CANN 的 TIK 编程模型和 TVM 编译器集成来构建、部署和调优 AI 模型自定义算子的高级系统开发者。
培训结束后,参与者将能够:
- 使用 TIK DSL 为 Ascend 处理器编写和测试自定义 AI 算子。
- 将自定义算子集成到 CANN 运行时和执行图中。
- 使用 TVM 进行算子调度、自动调优和基准测试。
- 调试和优化自定义计算模式的指令级性能。
课程形式
- 互动讲座和演示。
- 使用 TIK 和 TVM 管道进行算子编码实践。
- 在 Ascend 硬件或模拟器上进行测试和调优。
课程定制选项
- 如需为此课程定制培训,请联系我们安排。
Migrating CUDA Applications to Chinese GPU Architectures
21 時間:中國的GPU架構,如Huawei Ascend、Biren和Cambricon MLU,提供了專為本地AI和HPC市場量身定制的CUDA替代方案。
這項由講師指導的培訓(線上或線下)旨在為高級GPU程式設計師和基礎設施專家提供遷移和優化現有CUDA應用程序,以便在中國硬件平台上部署的能力。
培訓結束後,參與者將能夠:
- 評估現有CUDA工作負載與中國芯片替代方案的兼容性。
- 將CUDA代碼庫移植到華為CANN、Biren SDK和Cambricon BANGPy環境中。
- 比較性能並識別跨平台的優化點。
- 解決跨架構支持和部署中的實際挑戰。
課程形式
- 互動式講座和討論。
- 實踐代碼翻譯和性能比較實驗。
- 專注於多GPU適應策略的指導練習。
課程定制選項
- 如需根據您的平台或CUDA項目定制培訓,請聯繫我們安排。
Intelligent Applications Fundamentals
14 時間:這種以講師為主導的 澳門(在線或現場)現場培訓面向希望獲得智慧應用程式以及如何將其應用於各個行業的初級 IT 專業人員。
在培訓結束時,參與者將能夠:
- 瞭解人工智慧的歷史、原理和影響。
- 識別並應用不同的機器學習演算法。
- 有效地管理和分析 AI 應用程式的數據。
- 認識到人工智慧在不同領域的實際應用和局限性。
- 討論人工智慧技術的倫理考慮和社會影響。
Intelligent Applications Advanced
21 時間:這種由講師指導的現場培訓澳門(在線或現場)面向希望掌握智慧應用程式複雜性並利用它們解決複雜現實問題的中級到高級數據科學家、工程師和 AI 從業者。
在培訓結束時,參與者將能夠:
- 實施和分析深度學習架構。
- 在分散式計算環境中大規模應用機器學習。
- 設計和執行用於決策的強化學習模型。
- 開發用於語言理解的複雜 NLP 系統。
- 利用計算機視覺技術進行圖像和視頻分析。
- 解決人工智慧系統開發和部署中的倫理考慮。
Performance Optimization on Ascend, Biren, and Cambricon
21 時間:Ascend、Biren 和 Cambricon 是中國領先的 AI 硬體平台,各自提供獨特的加速和性能分析工具,用於生產規模的 AI 工作負載。
這項由講師指導的培訓(線上或線下)針對高級 AI 基礎設施和性能工程師,旨在優化跨多個中國 AI 晶片平台的模型推理和訓練工作流程。
在培訓結束時,參與者將能夠:
- 在 Ascend、Biren 和 Cambricon 平台上進行模型基準測試。
- 識別系統瓶頸和記憶體/計算效率低下的問題。
- 應用圖層級、核心層級和操作層級的優化。
- 調整部署管道以提高吞吐量和減少延遲。
課程形式
- 互動式講座和討論。
- 在每個平台上實際使用性能分析和優化工具。
- 專注於實際調整情境的指導練習。
課程定制選項
- 如需根據您的性能環境或模型類型定制此課程,請聯繫我們安排。