聯繫我們

課程簡介

簡介:

  • Apache Spark 在 Hadoop 生態系中的定位
  • Python、Scala 簡要介紹

基礎理論:

  • 架構
  • RDD
  • 轉換與動作
  • 階段、任務、相依性

使用 Databricks 環境理解基礎(實作工作坊):

  • RDD API 練習
  • 基本動作與轉換函式
  • PairRDD
  • Join
  • 快取策略
  • DataFrame API 練習
  • SparkSQL
  • DataFrame: select, filter, group, sort
  • UDF(使用者定義函式)
  • 探索 DataSet API
  • 串流處理

使用 AWS 環境理解部署(實作工作坊):

  • AWS Glue 基礎
  • 理解 AWS EMR 與 AWS Glue 之間的差異
  • 兩種環境下的工作範例
  • 理解各自的優缺點

額外內容:

  • Apache Airflow 編排簡介

最低要求

程式設計技能(建議熟悉 python, scala)

SQL 基礎

 21 小時

客戶評論 (3)

課程分類