聯繫我們
 課程時長 14 時間:

課程簡介

CANN優化能力概述

  • CANN中推斷性能的處理機制
  • 邊緣及嵌入式AI系統的優化目標
  • 理解AI核心利用率與內存分配

使用圖引擎進行分析

  • 圖引擎及執行管道簡介
  • 可視化算子圖及運行時指標
  • 修改計算圖以進行優化

性能分析工具與指標

  • 使用CANN性能分析工具(Profiler)進行工作負載分析
  • 分析內核執行時間及瓶頸
  • 內存訪問分析與分塊(Tiling)策略

使用TIK開發自定義算子

  • TIK及算子編程模型概述
  • 使用TIK DSL實現自定義算子
  • 測試及基準測試算子性能

使用TVM進行高級算子優化

  • TVM與CANN集成簡介
  • 計算圖的自動調優策略
  • 何時及如何在TVM與TIK之間切換

內存優化技術

  • 管理內存佈局與緩衝區放置
  • 減少片上內存消耗的技巧
  • 異步執行與復用的最佳實踐

實際部署與案例研究

  • 案例研究:智慧城市攝像頭管線的性能調優
  • 案例研究:優化自動駕駛汽車的推斷棧
  • 迭代式性能分析及持續改進指南

總結與後續步驟

最低要求

  • 深入理解深度學習模型架構及訓練工作流
  • 具有使用CANN、TensorFlow或PyTorch進行模型部署的經驗
  • 熟悉Linux命令行界面(CLI)、Shell腳本編程及Python編程

受眾對象

  • AI性能工程師
  • 推斷優化專家
  • 從事邊緣AI或實時系統開發的開發人員

課程分類