聯繫我們

課程簡介

簡介

理解大型數據

Spark 概覽

Python 概覽

PySpark 概覽

  • 使用彈性分佈式數據集 (RDD) 框架分發數據
  • 使用 Spark API 運算子分發計算

設定 Python 與 Spark 的整合

設定 PySpark

使用 Amazon Web Services (AWS) EC2 實例進行 Spark 處理

設定 Databricks

設定 AWS EMR 群組

學習 Python 程式設計的基礎

  • Python 入門
  • 使用 Jupyter Notebook
  • 使用變數及簡單數據類型
  • 處理清單 (Lists)
  • 使用 if 語句
  • 使用用戶輸入
  • 處理 while 迴圈
  • 實現函數
  • 處理類別 (Classes)
  • 處理文件及例外處理
  • 處理專案、數據及 API

學習 Spark DataFrame 的基礎

  • Spark DataFrames 入門
  • 在 Spark 中實現基本操作
  • 使用 Groupby 及聚合操作
  • 處理時間戳記及日期

進行 Spark DataFrame 項目練習

理解 MLlib 機器學習

使用 MLlib、Spark 及 Python 進行機器學習

理解回歸分析

  • 學習線性回歸理論
  • 實現回歸評估代碼
  • 進行線性回歸示例練習
  • 學習邏輯回歸理論
  • 實現邏輯回歸代碼
  • 進行邏輯回歸示例練習

理解隨機森林及決策樹

  • 學習樹方法理論
  • 實現決策樹及隨機森林代碼
  • 進行隨機森林分類示例練習

處理 K-means 聚類

  • 理解 K-means 聚類理論
  • 實現 K-means 聚類代碼
  • 進行聚類示例練習

處理推薦系統

實現自然語言處理

  • 理解自然語言處理 (NLP)
  • NLP 工具概覽
  • 進行 NLP 示例練習

使用 Python 上的 Spark 進行串流處理

  • Spark 串流處理概覽
  • Spark 串流處理示例練習

最低要求

  • 具備一般程式設計技能

目標受眾

  • 開發人員
  • 資訊科技專業人員
  • 數據科學家
 21 小時

客戶評論 (6)

課程分類