聯繫我們

課程簡介

機器人操作與深度學習導論

  • 操作任務和系統組件概述
  • 傳統方法與基於學習的方法對比
  • 感知、規劃和控制中的深度學習應用

操作用感知

  • 用於抓取的視覺感應和對象檢測
  • 3D視覺、深度感應及點雲處理
  • 訓練CNN以進行對象定位和分割

抓取規劃與檢測

  • 經典抓取規劃算法
  • 從數據和模擬中學習抓取姿態
  • 實現抓取檢測網絡(例如,GGCNN、Dex-Net)

控制與運動規劃

  • 逆運動學和軌跡生成
  • 基於學習的運動規劃與模仿學習
  • 用於操作控制政策的強化學習

與ROS 2和模擬環境集成

  • 設置用於感知和控制的ROS 2節點
  • 在Gazebo和Isaac Sim中模擬機器人手部操作器
  • 整合神經模型以進行實時控制

操作任務的端到端學習

  • 將感知、政策和控制結合在統一網絡中
  • 使用演示數據進行監督式政策學習
  • 模擬與真實硬件之間的領域適應

評估與優化

  • 抓取成功率、穩定性和精度的指標
  • 在不同條件和干擾下進行測試
  • 模型壓縮及在邊緣設備上的部署

實作項目:基於深度學習的機器人抓取

  • 設計從感知到執行的管線
  • 訓練和測試抓取檢測模型
  • 將模型集成到模擬機械臂中

總結與下一步

最低要求

  • 對機器人運動學和動力學的深刻理解
  • 具有Python和深度學習框架的經驗
  • 熟悉ROS或類似的機器人中間件

對象

  • 開發智能操作系統的機器人工程師
  • 致力於抓取應用的感知和控制專家
  • 機器人學習和基於AI的控制領域的研究人員和從業者
 28 小時

客戶評論 (2)

課程分類