Talend 大數據整合培訓

此導師指導的現場培訓在澳門（線上或線下）進行，針對希望優化數據處理工作流程、確保數據完整性並實施堅固數據湖倉庫解決方案的高階數據專業人員，使其能夠應對現代大數據應用程式的複雜性。

完成本培訓後，參與者將能夠：

• 深入了解 Iceberg 的架構，包括元資料管理和檔案配置。
• 在各種環境中配置 Iceberg 以達到最佳效能，並將其與多個資料處理引擎整合。
• 管理大規模的 Iceberg 表格，執行複雜的架構變更，並處理分區演化。
• 掌握優化查詢效能和大資料集掃描效率的技巧。
• 實施確保數據一致性的機制，管理交易保證，並在分散式環境中處理故障。

此由講師指導的實時培訓 澳門（線上或線下）針對初級數據專業人士，希望他們獲得有效利用 Apache Iceberg 管理大規模數據集所需的知識和技能，確保數據完整性，並優化數據處理工作流程。

到本培訓結束時，學員將能夠：

• 深入理解 Apache Iceberg 的架構、功能和優勢。
• 了解表格式、分區、模式演化和時間旅行功能。
• 在不同環境中安裝和配置 Apache Iceberg。
• 創建、管理和操作 Iceberg 表。
• 理解從其他表格式遷移數據到 Iceberg 的過程。

本次在 澳門 舉行的實訓課程（線上或線下），針對希望利用 Google Colab 和 Apache Spark 處理及分析大數據的中級數據科學家與工程師。

完成培訓後，參與者將能夠：

• 使用 Google Colab 和 Spark 設置大數據環境。
• 高效地使用 Apache Spark 處理和分析大型數據集。
• 在協作環境中可視化大數據。
• 將 Apache Spark 與雲端工具整合。

Apache NiFi 是一個開源的基於流程的數據集成和事件處理平台。它具備基於網頁的用戶界面以及精細的控制功能，可實現跨不同系統間的自動化、實時數據路由、轉換與中介處理。

本課程由講師現場指導進行，支持線下或遠程授課方式，旨在讓中級管理員及工程師學習如何在生產環境中部署、管理、保障以及優化 NiFi 數據流。

完成培訓後，學員將能夠：

• 安裝、配置並維護 Apache NiFi 叢集。
• 設計和管理來自不同源端和目的端的數據流。
• 實現流程自動化、路由以及轉換邏輯。
• 優化性能，監控運營狀況，並排查故障問題。

課程形式

• 互動式講授，結合真實世界架構討論。
• 實踐操作練習：構建、部署及管理流程。
• 在實訓環境中進行情境化練習。

課程定製選項

• 如需針對本課程申請定製培訓，請聯繫我們安排。

本培訓提供實用的入門指導，助您使用 PySpark 構建可擴展的數據處理和機器學習工作流程。參與者將學習 Apache Spark 如何在現代大數據生態系統中運作，以及如何利用分布式計算原則高效處理大型數據集。

此在澳門（線上或線下）舉行的講師引導實訓，針對希望設置並部署Apache Spark系統以處理海量資料的工程師。

完成本培訓後，學員將能夠：

• 安裝並配置Apache Spark。
• 快速處理和分析超大資料集。
• 理解Apache Spark與Hadoop MapReduce之間的差異，以及何時使用哪種工具。
• 將Apache Spark與其他機器學習工具集成。

這項由講師指導的培訓課程在 澳門（線上或線下）進行，旨在幫助初級至中級的系統管理員部署、維護並優化 Spark 集羣。

完成本培訓後，參與者將能夠：

• 在不同環境中安裝和配置 Apache Spark
• 管理集羣資源並監控 Spark 應用程序
• 優化 Spark 集羣的性能
• 實施安全措施並確保高可用性
• 調試並排除常見的 Spark 問題

初學 Apache Spark 時，學習曲線較為陡峭，初期需要投入大量努力才能看到成果。本課程旨在幫助學員跨越這一艱難階段。完成課程後，學員將掌握 Apache Spark 的基本原理，清晰區分 RDD 與 DataFrame，並學習 Python 和 Scala API，理解執行者 (executors) 與任務 (tasks) 等概念。此外，遵循最佳實踐，本課程重點聚焦於雲端部署、Databricks 和 AWS。學員亦將了解 AWS EMR 與 AWS Glue（AWS 最新的 Spark 服務之一）之間的差異。

適用對象：

資料工程師、DevOps、資料科學家

在此 澳門 由講師帶領的現場培訓中，參與者將在實作練習的同時，學習如何結合使用 Python 和 Spark 來分析大數據。

完成此課程後，參與者將能夠：

• 掌握如何使用 Spark 搭配 Python 分析大數據。
• 進行模擬真實案例的練習。
• 運用不同工具與技術，透過 PySpark 執行大數據分析。

本課程為於 澳門（線上或線下）舉辦的由講師主導之培訓，目標對象為希望使用並整合 Spark、Hadoop 與 Python 來處理、分析及轉換大型且複雜資料集的開發人員。

完成本課程後，學員將能夠：

• 建立必要環境，以開始使用 Spark、Hadoop 和 Python 處理大數據。
• 理解 Spark 和 Hadoop 的功能、核心元件與架構。
• 學習如何整合 Spark、Hadoop 與 Python 以進行大數據處理。
• 探索 Spark 生態系統中的工具（Spark MlLib、Spark Streaming、Kafka、Sqoop、Flume）。
• 建置類似 Netflix、YouTube、Amazon、Spotify 和 Google 的協同過濾推薦系統。
• 使用 Apache Mahout 擴展機器學習演算法。

Stratio 是一個以數據為核心的平台。它將大數據、人工智慧及治理整合為單一解決方案。其 Rocket 和 Intelligence 模組可讓企業環境中的快速資料探索、轉換及進階分析更為便捷。

本課程由講師指導進行，提供線上或線下培訓模式。對象為希望有效使用 Stratio 的 Rocket 與 Intelligence 模組結合 PySpark，並專注於迴圈結構、使用者定義函數（UDF）及進階資料邏輯的中級數據專業人士。

參與者完成本課程後將能夠：

• 使用 Rocket 與 Intelligence 模組於 Stratio 平台中進行導覽與操作。
• 在數據入載、轉換及分析情境下應用 PySpark。
• 運用迴圈及條件邏輯控制工作流程並執行特徵工程任務。
• 建立及管理 PySpark 中的使用者定義函數（UDF），以實現可重用的數據操作。

課程形式

• 互動式講授與討論。
• 大量練習與實作。
• 於即時實驗室環境中進行動手實作。

課程客製化選項

• 如需為本課程申請客製化培訓，請聯繫我們以安排。

此為在 澳門 舉辦的讲师带领现场培训（线上或线下），旨在幫助系統管理員、資料科學家及商業分析師設置 Talend Administration Center，以部署和管理組織中的角色與任務。

完成培訓後，參與者將能夠：

• 安裝和配置 Talend Administration Center。
• 理解並實作 Talend 管理基礎知識。
• 在 Talend 中建立、部署並執行業務專案或任務。
• 監控資料集的安全性，並基於 TAC 框架開發業務常規。
• 對大數據應用程式有更廣泛的理解。

本講座式實體培訓（澳門線上或線下）旨在幫助初級至中級資料分析師深化對使用Talend Data Stewardship管理和提升資料品質的理解與技能。

完成培訓後，學員將能夠：

• 全面了解資料治理在維持資料品質中的角色。
• 利用Talend Data Stewardship管理資料品質任務。
• 在Talend Data Stewardship中建立、指派及管理任務，包括工作流自訂。
• 運用工具的報表與監控功能，追蹤資料品質及治理成效。

在此於 澳門 舉辦的講師主導實時培訓中，參與者將學習如何使用 Talend Open Studio for ESB 建立、連接、中介及管理服務及其互動。

完成本培訓後，參與者將能夠

• 在各種部署環境中以單一套件形式整合、增強並交付 ESB 技術。
• 理解並運用 Talend Open Studio 最常用的元件。
• 整合任何應用程式、資料庫、API 或 Web Services。
• 無縫整合異質系統與應用。
• 嵌入現有的 Java 程式庫以擴展專案。
• 利用社群元件與程式碼來擴展專案。
• 在拖放式的 Eclipse 環境中快速整合系統、應用程式與資料來源。
• 透過生成最佳化且可重用的程式碼，減少開發時間與維護成本。