線上 PySpark 培訓在 澳門

在這次於 澳門 舉行的導師帶領式實際培訓課程中，學員將透過親手操作的練習，學習如何將 Python 與 Spark 結合使用以分析大型數據。

完成本培訓課程後，學員將能夠：

• 學習如何使用 Spark 配合 Python 分析大型數據。
• 進行模擬真實世界案例的練習。
• 運用 PySpark 處理大型數據分析的不同工具及技術。

此由講師主導的現場培訓（線上或線下）旨在希望利用Databricks與PySpark構建可擴展數據流水線，並遷移現有SQL工作流的數據工程師、數據分析師及數據專業人士。

本培訓提供實用的入門指導，助您使用 PySpark 構建可擴展的數據處理和機器學習工作流程。參與者將學習 Apache Spark 如何在現代大數據生態系統中運作，以及如何利用分布式計算原則高效處理大型數據集。

這門為期三天的實務課程，專注於使用 PySpark、Pandas 和 Polars 在基於 Kubernetes 的環境中 構建並優化高效能資料處理工作負載。

學員將深入了解 Spark 應用程式在 Kubernetes 上的執行機制，以及應用程式層級的設定決策如何影響效能、擴展性、資源消耗與成本。課程涵蓋關鍵優化領域，包括執行器大小調整、記憶體分配、動態分配、分區策略、Shuffle 行為、小檔案問題以及高效的 Parquet 處理。

課程亦探討使用 Pandas 時面臨的常見挑戰，如記憶體限制和記憶體不足（OOM）錯誤，並介紹 Polars 作為特定資料處理工作負載的高效能替代方案。透過動手實作練習，學員將學習診斷效能與記憶體問題、比較不同的設定策略，並將優化技術應用於真實的 ETL 和機器學習場景。

貫穿課程始終的重點在於實務決策能力：理解如何識別瓶頸、選擇合適的工具、高效配置 Spark，以及在效能與基礎設施資源消耗及成本之間取得平衡。