聯繫我們

課程簡介

CANN優化能力概述

  • CANN中推論效能的處理方式。
  • 邊緣與嵌入式AI系統的優化目標。
  • 理解AI Core利用率與記憶體配置。

使用圖引擎進行分析

  • 圖引擎與執行管線簡介。
  • 視覺化算子圖形與運行時指標。
  • 修改計算圖形以實現優化。

剖析工具與效能指標

  • 使用CANN剖析工具(profiler)進行工作負載分析。
  • 分析算子執行時間與瓶頸。
  • 記憶體存取剖析與平鋪策略。

使用TIK開發自訂算子

  • TIK與算子程式設計模型概述。
  • 使用TIK DSL實現自訂算子。
  • 測試與基準測試算子效能。

使用TVM進行進階算子優化

  • TVM與CANN整合簡介。
  • 計算圖形的自動調優策略。
  • 何時以及如何在這TVM和TIK之間切換。

記憶體優化技術

  • 管理記憶體配置與緩衝區放置。
  • 減少片上記憶體消耗的技術。
  • 非同步執行與複用的最佳實務。

實際部署與案例研究

  • 案例研究:智慧城市相機管線的效能調優。
  • 案例研究:優化自動駕駛車輛推論堆疊。
  • 迭代剖析與持續改進的指導方針。

總結與後續步驟

最低要求

  • 具備深厚的深度學習模型架構與訓練工作流程知識。
  • 具備使用CANN、TensorFlow或PyTorch進行模型部署的經驗。
  • 熟悉Linux命令行界面、Shell腳本及Python程式設計。

受眾對象

  • AI效能工程師
  • 推論優化專家
  • 從事邊緣AI或即時系統開發的開發人員
 14 小時

課程分類