聯繫我們
 課程時長 14 時間:

課程簡介

自訂運算子開發簡介

  • 為何要建構自訂運算子?應用場景和限制條件
  • CANN 執行時環境結構和運算子整合點
  • 華為 AI 生態系統中 TBE、TIK 和 TVM 概覽

使用 TIK 進行低階運算子程式設計

  • 理解 TIK 程式設計模型和支援的 API
  • TIK 中的記憶體管理和分塊策略
  • 使用 CANN 建立、編譯並註冊自訂運算子

測試和驗證自訂運算子

  • 對圖中的運算子進行單元測試和整合測試
  • 除錯核心層級的效能問題
  • 視覺化運算子執行和緩衝區行為

基於 TVM 的調度和最佳化

  • TVM 作為張量運算編譯器概覽
  • 在 TVM 中為自訂運算子撰寫調度
  • 針對 Ascend 進行 TVM 調整、基準測試和程式碼生成

與框架和模型的整合

  • 為 MindSpore 和 ONNX 註冊自訂運算子
  • 驗證模型完整性和回退行為
  • 支援混合精度的多運算子圖

案例研究和專門最佳化

  • 案例研究:針對小輸入形狀的高效卷積
  • 案例研究:記憶體感知型注意力運算子最佳化
  • 跨裝置部署自訂運算子的最佳實務

總結和後續步驟

最低要求

  • 具備深厚的 AI 模型內部機制和運算子層級計算知識
  • 具有 Python 和 Linux 開發環境經驗
  • 熟悉神經網路編譯器或圖層最佳化器

受眾對象

  • 從事 AI 工具鏈開發的編譯器工程師
  • 專注於低階 AI 最佳化的系統開發人員
  • 建構自訂運算子或針對新型 AI 工作負載的開發人員

課程分類