Databricks與PySpark用於數據工程培訓

Azure Databricks 是一個基於雲端的協作平台，使用 Apache Spark 和 Microsoft Azure 生態系統支援大數據分析和機器學習。

這門由講師指導的現場培訓（線上或線下），針對希望為金融用例設計、構建並部署機器學習模型的初級以上數據專業人員而設。

完成培訓後，學員將能夠：

• 在 Azure Databricks 中使用金融數據構建和訓練機器學習模型。
• 使用 MLflow 追蹤實驗、管理模型和部署解決方案。
• 應用模型來檢測異常、評估風險或預測金融趨勢。
• 將 ML 模型整合到可擴展的流程中，進行持續評估。

課程形式

• 互動式講授與討論。
• 大量的練習和實操。
• 在實驗室環境中進行實作。

課程客製化選項

• 如需針對此課程請求客製化培訓，請聯絡我們安排。

本課程由講師現場指導進行（澳門，線上或線下），旨在幫助希望使用 Databricks 設置、部署和管理數據分析解決方案的数据科学家和開發者。

完成培訓後，學員將能夠：

• 設置和配置 Databricks。
• 理解 Databricks 與 Apache Spark 如何協同工作。
• 學習如何在 Databricks 中加載和轉換數據。

Databricks 是一個統一的湖倉一體平台，它結合了 Spark、Delta Lake 和治理（Unity Catalog），以支持可擴展的數據工程和分析工作流程。

本課程由導師帶領，提供線上或線下培訓方式。對象為具有數據工程背景的初級至中級技術經理，旨在幫助大家使用 Databricks、Spark、Delta Lake、Unity Catalog 以及原生工作流程，將複雜的程序化 OLAP 邏輯遷移至湖倉一體架構。

完成本培訓後，參與者將能夠：

• 解釋湖倉一體架構以及銅→銀→金（Medallion）模式。
• 將存儲過程邏輯轉化為 Spark DataFrame 和筆記本實現。
• 設計並實現使用 Delta Lake 的增量加載、合併以及優化常規例程。
• 構建包含 Databricks Workflows、版本控制、測試和治理在內的全流程調度管道。

課程格式

• 密集的導師引導式課程，包含重點演示與講解。
• 每日實踐實驗，使用代表性數據集進行遷移練習。
• 指導代碼審查、性能調優輔導以及工作流程調度練習。

課程自定義選項

• 本課程可根據您的環境、數據集及治理需求進行定制，請聯繫我們安排。

Databricks 是一個統一的分析平台，專為協作環境中的大數據和機器學習設計。

本培訓提供現場或線上實操指導。目標對象是想在金融相關案例中使用 Databricks 進行大規模數據分析的初級至中級數據分析師和金融專業人員。

完成本培訓後，參與者將能夠：

• 使用 Databricks 筆記本來查詢和分析金融數據集。
• 清理和轉換原始金融數據以生成報告和洞察。
• 創建儀表板與視覺化工具來追蹤績效。
• 在共享筆記本中與團隊成員實時協作。

課程形式

• 互動式講座與討論。
• 大量的練習與實踐環節。
• 在實操實驗室環境中的動手實現。

課程自定義選項

• 如需為本課程請求自定義培訓，請聯繫我們以安排。

本培訓提供實用的入門指導，助您使用 PySpark 構建可擴展的數據處理和機器學習工作流程。參與者將學習 Apache Spark 如何在現代大數據生態系統中運作，以及如何利用分布式計算原則高效處理大型數據集。

在此 澳門 由講師帶領的現場培訓中，參與者將在實作練習的同時，學習如何結合使用 Python 和 Spark 來分析大數據。

完成此課程後，參與者將能夠：

• 掌握如何使用 Spark 搭配 Python 分析大數據。
• 進行模擬真實案例的練習。
• 運用不同工具與技術，透過 PySpark 執行大數據分析。

Stratio 是一個以數據為核心的平台。它將大數據、人工智慧及治理整合為單一解決方案。其 Rocket 和 Intelligence 模組可讓企業環境中的快速資料探索、轉換及進階分析更為便捷。

本課程由講師指導進行，提供線上或線下培訓模式。對象為希望有效使用 Stratio 的 Rocket 與 Intelligence 模組結合 PySpark，並專注於迴圈結構、使用者定義函數（UDF）及進階資料邏輯的中級數據專業人士。

參與者完成本課程後將能夠：

• 使用 Rocket 與 Intelligence 模組於 Stratio 平台中進行導覽與操作。
• 在數據入載、轉換及分析情境下應用 PySpark。
• 運用迴圈及條件邏輯控制工作流程並執行特徵工程任務。
• 建立及管理 PySpark 中的使用者定義函數（UDF），以實現可重用的數據操作。

課程形式

• 互動式講授與討論。
• 大量練習與實作。
• 於即時實驗室環境中進行動手實作。

課程客製化選項

• 如需為本課程申請客製化培訓，請聯繫我們以安排。