聯繫我們

課程簡介

第一部分 – 深度學習與DNN概念

介紹AI、機器學習與深度學習

  • AI的歷史,基本概念及其常規應用
  • 集體智能:聚合多個虛擬代理共享的知識
  • 遺傳算法:通過選擇進化一個虛擬代理羣體
  • 通用學習機:定義
  • 任務類型:監督學習、非監督學習、強化學習
  • 行動類型:分類,回歸,聚類,密度估計,維度降低
  • 機器學習算法示例:線性回歸,樸素貝葉斯,隨機森林
  • 機器學習與深度學習對比:目前仍處於先進水平的問題(如隨機森林和XGBoost)

神經網絡的基本概念(應用:多層感知器)

  • 數學基礎回顧
  • 定義一個神經網絡:經典架構,激活及
  • 權重之前的激活、深度網絡
  • 定義學習一個神經網絡:成本函數,反向傳播,隨機梯度下降,最大似然。
  • 對神經網絡進行建模:根據問題類型(回歸、分類...)對輸入和輸出數據進行建模。維度災難。
  • 區分多特徵數據與信號。根據數據選擇成本函數
  • 用神經網絡近似一個函數:展示及示例
  • 用神經網絡近似一個分佈:展示及示例
  • 數據增強:如何平衡數據集
  • 神經網絡結果的泛化。
  • 神經網絡初始化與正則化:L1/L2正則化、批量歸一化
  • 優化與收斂算法

標準ML/DL工具

計劃進行簡單介紹,包括優點、缺點、生態系統中的地位及用途。

  • 數據管理工具:Apache Spark, Apache Hadoop工具
  • 機器學習:Numpy、Scipy、Sci-kit
  • DL高級框架:PyTorch、Keras、Lasagne
  • 低級DL框架:Theano、Torch、Caffe、Tensorflow

卷積神經網絡(CNN)

  • CNN展示:基本原則與應用
  • CNN的基本操作:卷積層、使用內核
  • 填充和步長、特徵映射生成、池化層。1D, 2D及3D擴展。
  • 展示帶來分類領域先進技術的不同CNN架構
  • 圖像:LeNet、VGG網絡、Network in Network、Inception、Resnet。介紹每種架構帶來的創新及其更廣泛的應用(如1x1卷積或殘差連接)
  • 使用注意力模型
  • 常見分類案例應用(文本或圖像)
  • 用於生成的CNN:超解析度、像素到像素分割。展示
  • 提高特徵映射以生成圖像的主要策略。

循環神經網絡(RNN)

  • RNN展示:基本原則與應用
  • RNN的基本操作:隱藏激活、通過時間反向傳播,展開版本。
  • 向門控循環單元(GRU)和LSTM(長短期記憶)的演進
  • 展示不同狀態及由這些架構帶來的改進
  • 收斂與消失梯度問題
  • 經典架構:時間序列預測,分類等
  • RNN編碼器-解碼器型架構。使用注意力模型
  • NLP應用:字/字符編碼、翻譯
  • 視頻應用:預測視頻序列的下一幀圖像

生成模型:變分自編碼器(VAE)和生成對抗網絡(GAN)

  • 展示生成模型,與CNN的關係
  • 自編碼器:維度降低及有限生成
  • 變分自編碼器:生成模型和給定數據的分佈近似。潛在空間的定義和使用。重參數化技巧。應用及觀察到的限制
  • 生成對抗網絡:基礎
  • 雙重網絡架構(生成器與批評者)交替學習,可用的成本函數。
  • GAN的收斂性及遇到的困難
  • 改善收斂:Wasserstein GAN、Begain。地球移動距離
  • 應用於圖像或照片生成,文本生成,超解析度

深度強化學習

  • 展示強化學習:控制一個代理在定義環境中的行為
  • 基於狀態和可能的動作
  • 使用神經網絡近似狀態函數
  • Deep Q學習:經驗回放及應用於視頻遊戲控制
  • 優化學習策略。On-policy和off-policy。Actor-Critic架構。A3C
  • 應用:單一視頻遊戲或數字系統的控制

第二部分 – Theano用於深度學習

Theano基礎

  • 介紹
  • 安裝與配置

Theano函數

  • 輸入、輸出、更新、給定值

使用Theano訓練和優化神經網絡

  • 神經網絡建模
  • 邏輯回歸
  • 隱藏層
  • 訓練網絡
  • 計算與分類
  • 優化
  • Log Loss

測試模型

第三部分 – 使用Tensorflow進行DNN開發

TensorFlow基礎

  • 創建、初始化、保存和恢復TensorFlow變量
  • Feed、讀取和預加載TensorFlow數據
  • 如何使用TensorFlow基礎設施進行大規模模型訓練
  • 使用TensorBoard可視化並評估模型

TensorFlow機制

  • 準備數據
  • 下載
  • 輸入和佔位符
  • 構建圖
    • 推斷
    • 損失
    • 訓練
  • 訓練模型
    • Session
    • 訓練循環
  • 評估模型
    • 構建評估圖
    • Eval輸出

感知機

  • 激活函數
  • 感知機學習算法
  • 使用感知機進行二分類
  • 使用感知機進行文檔分類
  • 感知機的局限性

從感知機到支持向量機

  • 內核及核技巧
  • 最大間隔分類和支持向量

人工神經網絡

  • 非線性決策邊界
  • 前饋和反饋人工神經網絡
  • 多層感知器
  • 最小化成本函數
  • 前向傳播
  • 反向傳播
  • 改善神經網絡學習方式

卷積神經網絡

  • 目標
  • 模型架構
  • 原則
  • 代碼組織
  • 啟動和訓練模型
  • 評估模型

以下模塊的基本介紹(基於可用時間提供簡短介紹):

Tensorflow - 高級用法

  • 線程和隊列
  • 分佈式TensorFlow
  • 編寫文檔並分享您的模型
  • 自定義數據讀取器
  • 操作TensorFlow模型文件

TensorFlow Serving

  • 介紹
  • 基礎服務教程
  • 高級服務教程
  • Inception模型服務教程

最低要求

具有物理學、數學和編程背景。參與圖像處理活動。

學員應具備機器學習概念的先備知識,並有使用Python編程語言和庫的經驗。

 35 小時

客戶評論 (2)

課程分類