線上 大型數據 培訓在 澳門

本次在 澳門 舉行的實訓課程（線上或線下），針對希望利用 Google Colab 和 Apache Spark 處理及分析大數據的中級數據科學家與工程師。

完成培訓後，參與者將能夠：

• 使用 Google Colab 和 Spark 設置大數據環境。
• 高效地使用 Apache Spark 處理和分析大型數據集。
• 在協作環境中可視化大數據。
• 將 Apache Spark 與雲端工具整合。

完成本課程並參與導師帶領的實戰培訓後，學員將獲得對大數據及其相關技術、方法和工具的實用及真實世界理解。

學員將有機會透過實踐練習來應用所學知識。團隊互動和導師反饋是課程的重要組成部分。

課程以介紹大數據的基本概念開始，然後深入探討用於執行數據分析的編程語言和方法。最後，我們討論支持大數據存儲、分布式處理和擴展性的工具與基礎設施。

此導師指導的現場培訓在澳門（線上或線下）進行，針對希望優化數據處理工作流程、確保數據完整性並實施堅固數據湖倉庫解決方案的高階數據專業人員，使其能夠應對現代大數據應用程式的複雜性。

完成本培訓後，參與者將能夠：

• 深入了解 Iceberg 的架構，包括元資料管理和檔案配置。
• 在各種環境中配置 Iceberg 以達到最佳效能，並將其與多個資料處理引擎整合。
• 管理大規模的 Iceberg 表格，執行複雜的架構變更，並處理分區演化。
• 掌握優化查詢效能和大資料集掃描效率的技巧。
• 實施確保數據一致性的機制，管理交易保證，並在分散式環境中處理故障。

此由講師指導的實時培訓 澳門（線上或線下）針對初級數據專業人士，希望他們獲得有效利用 Apache Iceberg 管理大規模數據集所需的知識和技能，確保數據完整性，並優化數據處理工作流程。

到本培訓結束時，學員將能夠：

• 深入理解 Apache Iceberg 的架構、功能和優勢。
• 了解表格式、分區、模式演化和時間旅行功能。
• 在不同環境中安裝和配置 Apache Iceberg。
• 創建、管理和操作 Iceberg 表。
• 理解從其他表格式遷移數據到 Iceberg 的過程。

此種講授式實作訓練在澳門（線上或線下）針對初階至中階的資訊從業人員，旨在增強他們在資料架構、治理、雲端運算及大數據技術方面的技能，以便在其組織內有效管理並分析大型資料集，實現資料遷移。

完成本培訓後，參與者將能夠：

• 理解各種資料架構的基本概念與組成要素。
• 全面掌握資料治理原則及其在合規環境中的重要性。
• 實施及管理如Dama和Togaf等資料治理框架。
• 運用雲端平台進行高效的資料儲存、處理和管理。

此由講師帶領的實作培訓在 澳門（線上或線下）舉行，針對希望學習如何使用 Azure Data Lake Storage Gen2 構建高效數據分析方案的初級至中級數據工程師。

完成此培訓後，參與者將能夠：

• 理解 Azure Data Lake Storage Gen2 的架構與核心功能。
• 優化數據存儲與訪問策略以平衡成本與性能。
• 將 Azure Data Lake Storage Gen2 與其他 Azure 服務整合，用於分析與數據處理。
• 使用 Azure Data Lake Storage Gen2 API 開發解決方案。
• 排查常見問題並優化存儲策略。

本課程為於 澳門（線上或線下）舉辦的由講師主導之培訓，目標對象為希望使用並整合 Spark、Hadoop 與 Python 來處理、分析及轉換大型且複雜資料集的開發人員。

完成本課程後，學員將能夠：

• 建立必要環境，以開始使用 Spark、Hadoop 和 Python 處理大數據。
• 理解 Spark 和 Hadoop 的功能、核心元件與架構。
• 學習如何整合 Spark、Hadoop 與 Python 以進行大數據處理。
• 探索 Spark 生態系統中的工具（Spark MlLib、Spark Streaming、Kafka、Sqoop、Flume）。
• 建置類似 Netflix、YouTube、Amazon、Spotify 和 Google 的協同過濾推薦系統。
• 使用 Apache Mahout 擴展機器學習演算法。

本次在 澳門（線上或線下）舉辦的由講師指導的現場培訓，旨在讓具備中階資歷的 IT 專業人士全面掌握 IBM DataStage，從管理與開發兩個視角出發，使學員能夠在工作場所中有效管理和利用此工具。

完成本課程後，學員將能夠：

• 理解 DataStage 的核心概念。
• 學習如何有效安裝、配置和管理 DataStage 環境。
• 連接到各種數據源，並高效地從資料庫、平面檔案和外部來源提取數據。
• 實施有效的數據載入技術。

此由講師主導的 澳門 實地或線上培訓課程，旨在幫助初級至中級的系統管理員部署、維護並優化 Spark 叢集。

完成此培訓後，學員將能夠：

• 在各種環境中安裝並配置 Apache Spark。
• 管理叢集資源並監控 Spark 應用程式。
• 優化 Spark 叢集的性能。
• 實施安全措施並確保高可用性。
• 除錯及解決常見 Spark 問題。

在這次於 澳門 舉行的導師帶領式實際培訓課程中，學員將透過親手操作的練習，學習如何將 Python 與 Spark 結合使用以分析大型數據。

完成本培訓課程後，學員將能夠：

• 學習如何使用 Spark 配合 Python 分析大型數據。
• 進行模擬真實世界案例的練習。
• 運用 PySpark 處理大型數據分析的不同工具及技術。

在這堂位於澳門的由講師指導的實訓中，學員將學習如何以正確的思維方式面對大數據技術，評估其對現有流程和政策的影响，並實施這些技術以識別犯罪活動和預防犯罪。我們將研究來自世界各地執法機構的案例，深入了解他們的採用方法、挑戰和結果。

通過本次培訓，學員能夠：

• 將大數據技術與傳統數據收集過程結合，在調查中拼湊出故事。
• 實施工業級大數據存儲和處理解決方案以進行數據分析。
• 準備一份關於採用最合適工具和流程的提案，以實現數據驅動的刑事調查方法。

此由講師主導的現場培訓（線上或線下）旨在希望利用Databricks與PySpark構建可擴展數據流水線，並遷移現有SQL工作流的數據工程師、數據分析師及數據專業人士。

本培訓提供實用的入門指導，助您使用 PySpark 構建可擴展的數據處理和機器學習工作流程。參與者將學習 Apache Spark 如何在現代大數據生態系統中運作，以及如何利用分布式計算原則高效處理大型數據集。

這門為期三天的實務課程，專注於使用 PySpark、Pandas 和 Polars 在基於 Kubernetes 的環境中 構建並優化高效能資料處理工作負載。

學員將深入了解 Spark 應用程式在 Kubernetes 上的執行機制，以及應用程式層級的設定決策如何影響效能、擴展性、資源消耗與成本。課程涵蓋關鍵優化領域，包括執行器大小調整、記憶體分配、動態分配、分區策略、Shuffle 行為、小檔案問題以及高效的 Parquet 處理。

課程亦探討使用 Pandas 時面臨的常見挑戰，如記憶體限制和記憶體不足（OOM）錯誤，並介紹 Polars 作為特定資料處理工作負載的高效能替代方案。透過動手實作練習，學員將學習診斷效能與記憶體問題、比較不同的設定策略，並將優化技術應用於真實的 ETL 和機器學習場景。

貫穿課程始終的重點在於實務決策能力：理解如何識別瓶頸、選擇合適的工具、高效配置 Spark，以及在效能與基礎設施資源消耗及成本之間取得平衡。

此在澳門（線上或線下）舉行的講師引導實訓，針對希望設置並部署Apache Spark系統以處理海量資料的工程師。

完成本培訓後，學員將能夠：

• 安裝並配置Apache Spark。
• 快速處理和分析超大資料集。
• 理解Apache Spark與Hadoop MapReduce之間的差異，以及何時使用哪種工具。
• 將Apache Spark與其他機器學習工具集成。

這門位於 澳門 的實時培訓（線上或線下）旨在幫助技術人員部署 Talend Open Studio for Big Data，簡化閱讀和分析大數據的過程。

在培訓結束後，參與者將能夠：

• 安裝並配置 Talend Open Studio for Big Data。
• 連接至 Cloudera、HortonWorks、MapR、Amazon EMR 和 Apache 等大數據系統。
• 理解並設置 Open Studio 的大數據組件和連接器。
• 配置參數以自動生成 MapReduce 代碼。
• 使用 Open Studio 的拖放界面運行 Hadoop 任務。
• 構建大數據流水線原型。
• 自動化大數據整合專案。