課程簡介

機器人操控與深度學習導論

  • 操控任務與系統組件概述。
  • 傳統方法與基於學習方法的對比。
  • 深度學習在感知、規劃與控制中的應用。

操控中的感知技術

  • 視覺感知與抓取物體檢測。
  • 3D視覺、深度感知與點雲處理。
  • 訓練卷積神經網絡(CNN)用於物體定位與分割。

抓取規劃與檢測

  • 經典抓取規劃算法。
  • 從數據與模擬中學習抓取姿態。
  • 實現抓取檢測網絡(如GGCNN、Dex-Net)。

控制與運動規劃

  • 逆運動學與軌跡生成。
  • 基於學習的運動規劃與模仿學習。
  • 強化學習用於操控控制策略。

與ROS 2及模擬環境集成

  • 爲感知與控制設置ROS 2節點。
  • 在Gazebo和Isaac Sim中模擬機器人操作器。
  • 集成神經網絡模型以實現即時控制。

端到端的操控學習

  • 在統一網絡中結合感知、策略與控制。
  • 使用演示數據進行監督策略學習。
  • 模擬與真實硬件之間的領域適應。

評估與優化

  • 抓取成功率、穩定性與精確度的評估指標。
  • 在不同條件與干擾下的測試。
  • 模型壓縮與邊緣設備上的部署。

動手項目:基於深度學習的機器人抓取

  • 設計感知到動作的流程。
  • 訓練與測試抓取檢測模型。
  • 將模型集成到模擬機械臂中。

總結與下一步

最低要求

  • 對機器人運動學和動力學有深入理解。
  • 具備Python和深度學習框架的使用經驗。
  • 熟悉ROS或類似的機器人中間件。

受衆

  • 開發智能操控系統的機器人工程師。
  • 從事抓取應用的感知與控制專家。
  • 機器人學習與基於AI控制的研究人員及高級從業者。
 28 時間:

客戶評論 (1)

課程分類