澳門現場大數據培訓

本次在 澳門 舉行的實訓課程（線上或線下），針對希望利用 Google Colab 和 Apache Spark 處理及分析大數據的中級數據科學家與工程師。

完成培訓後，參與者將能夠：

• 使用 Google Colab 和 Spark 設置大數據環境。
• 高效地使用 Apache Spark 處理和分析大型數據集。
• 在協作環境中可視化大數據。
• 將 Apache Spark 與雲端工具整合。

Stratio 是一個以數據為核心的平台。它將大數據、人工智慧及治理整合為單一解決方案。其 Rocket 和 Intelligence 模組可讓企業環境中的快速資料探索、轉換及進階分析更為便捷。

本課程由講師指導進行，提供線上或線下培訓模式。對象為希望有效使用 Stratio 的 Rocket 與 Intelligence 模組結合 PySpark，並專注於迴圈結構、使用者定義函數（UDF）及進階資料邏輯的中級數據專業人士。

參與者完成本課程後將能夠：

• 使用 Rocket 與 Intelligence 模組於 Stratio 平台中進行導覽與操作。
• 在數據入載、轉換及分析情境下應用 PySpark。
• 運用迴圈及條件邏輯控制工作流程並執行特徵工程任務。
• 建立及管理 PySpark 中的使用者定義函數（UDF），以實現可重用的數據操作。

課程形式

• 互動式講授與討論。
• 大量練習與實作。
• 於即時實驗室環境中進行動手實作。

課程客製化選項

• 如需為本課程申請客製化培訓，請聯繫我們以安排。

資料倉儲是指設計、建置及營運集中式資料存放庫的實踐，以支援分析、報表決策。

此由導師帶領的即時培訓（線上或線下）針對希望對維度資料進行建模、建構健壯 ETL 管線並最佳化分析工作負載的中階資料專業人員。

完成本培訓後，參與者將能夠：

• 闡述核心資料倉儲概念與架構。
• 設計維度模型，並在星型與雪花模型間做出選擇。
• 可靠地建構及調度 ETL 和 ELT 管線。
• 區分 OLTP 與 OLAP 工作負載，並針對分析進行最佳化。

課程形式

• 互動式講授與討論。
• 大量的練習與實作。
• 在即時實驗室環境中進行實作。

課程客製化選項

• 如需此課程的客製化培訓，請聯絡我們安排。

完成本課程並參與導師帶領的實戰培訓後，學員將獲得對大數據及其相關技術、方法和工具的實用及真實世界理解。

學員將有機會透過實踐練習來應用所學知識。團隊互動和導師反饋是課程的重要組成部分。

課程以介紹大數據的基本概念開始，然後深入探討用於執行數據分析的編程語言和方法。最後，我們討論支持大數據存儲、分布式處理和擴展性的工具與基礎設施。

Greenplum 是一個開源的極大規模平行處理 (MPP) 資料平台，專為分析與大規模資料環境而設計。

本課程由講師親自指導，提供線上或線下培訓選項，主要對象為希望了解 Greenplum 內部架構、建立最佳化資料模型，並應用高效能 SQL 於分散式環境中的初級至中高級技術使用者。

完成本培訓後，學員將能夠：

• 理解 Greenplum 的無共享 (shared-nothing) 架構與平行處理模型。
• 設計針對查詢效能最佳化的分散式資料表結構與分區。
• 運用索引策略、儲存格式與實體設計技術。
• 解讀 EXPLAIN 計畫，並依據最佳實務進行查詢最佳化。

課程形式

• 互動式講授與討論。
• 大量練習與實作。
• 在即時實驗室環境中進行的實務操作。

課程客製化選項

• 如需本課程的客製化培訓，請聯繫我們安排。

Greenplum 是基於 PostgreSQL 的開源大规模平行數據平台，專為進階分析和大型資料倉儲設計。

本課程由講師主導，提供線上或線下實作培訓，對象為希望有效安裝、設定及管理 Greenplum 環境的中階管理員，內容涵蓋系統更新與程式庫管理。

完成本課程後，學員將能夠：

• 安裝並設定可供生產使用的 Greenplum 叢集。
• 管理系統更新並安全地套用修補程式。
• 處理用於分析和擴充功能的 Greenplum 程式庫管理。
• 偵錯與監控 Greenplum 系統。

課程格式

• 互動式講授與討論。
• 在受控實驗室環境中實作使用 Greenplum。
• 引導式練習，聚焦於叢集設定、升級流程與系統擴充功能。

課程客製化選項

• 若需根據您的環境或數據平台申請本課程的客製化培訓，請聯繫我們安排。

此導師指導的現場培訓在澳門（線上或線下）進行，針對希望優化數據處理工作流程、確保數據完整性並實施堅固數據湖倉庫解決方案的高階數據專業人員，使其能夠應對現代大數據應用程式的複雜性。

完成本培訓後，參與者將能夠：

• 深入了解 Iceberg 的架構，包括元資料管理和檔案配置。
• 在各種環境中配置 Iceberg 以達到最佳效能，並將其與多個資料處理引擎整合。
• 管理大規模的 Iceberg 表格，執行複雜的架構變更，並處理分區演化。
• 掌握優化查詢效能和大資料集掃描效率的技巧。
• 實施確保數據一致性的機制，管理交易保證，並在分散式環境中處理故障。

此由講師指導的實時培訓 澳門（線上或線下）針對初級數據專業人士，希望他們獲得有效利用 Apache Iceberg 管理大規模數據集所需的知識和技能，確保數據完整性，並優化數據處理工作流程。

到本培訓結束時，學員將能夠：

• 深入理解 Apache Iceberg 的架構、功能和優勢。
• 了解表格式、分區、模式演化和時間旅行功能。
• 在不同環境中安裝和配置 Apache Iceberg。
• 創建、管理和操作 Iceberg 表。
• 理解從其他表格式遷移數據到 Iceberg 的過程。

此種講授式實作訓練在澳門（線上或線下）針對初階至中階的資訊從業人員，旨在增強他們在資料架構、治理、雲端運算及大數據技術方面的技能，以便在其組織內有效管理並分析大型資料集，實現資料遷移。

完成本培訓後，參與者將能夠：

• 理解各種資料架構的基本概念與組成要素。
• 全面掌握資料治理原則及其在合規環境中的重要性。
• 實施及管理如Dama和Togaf等資料治理框架。
• 運用雲端平台進行高效的資料儲存、處理和管理。

此由講師帶領的實作培訓在 澳門（線上或線下）舉行，針對希望學習如何使用 Azure Data Lake Storage Gen2 構建高效數據分析方案的初級至中級數據工程師。

完成此培訓後，參與者將能夠：

• 理解 Azure Data Lake Storage Gen2 的架構與核心功能。
• 優化數據存儲與訪問策略以平衡成本與性能。
• 將 Azure Data Lake Storage Gen2 與其他 Azure 服務整合，用於分析與數據處理。
• 使用 Azure Data Lake Storage Gen2 API 開發解決方案。
• 排查常見問題並優化存儲策略。

本課程為於 澳門（線上或線下）舉辦的由講師主導之培訓，目標對象為希望使用並整合 Spark、Hadoop 與 Python 來處理、分析及轉換大型且複雜資料集的開發人員。

完成本課程後，學員將能夠：

• 建立必要環境，以開始使用 Spark、Hadoop 和 Python 處理大數據。
• 理解 Spark 和 Hadoop 的功能、核心元件與架構。
• 學習如何整合 Spark、Hadoop 與 Python 以進行大數據處理。
• 探索 Spark 生態系統中的工具（Spark MlLib、Spark Streaming、Kafka、Sqoop、Flume）。
• 建置類似 Netflix、YouTube、Amazon、Spotify 和 Google 的協同過濾推薦系統。
• 使用 Apache Mahout 擴展機器學習演算法。

大數據與高級分析應用複雜的技術和工具，對大量且複雜的數據集進行分析，以獲取可操作的見解和戰略決策支持。

此為由講師指導的現場培訓（線上或線下），旨在幫助高階資料專業人士利用嶄新的分析方法和大數據技術，進行預測性、規畫性以及實時分析。

完成本培訓後，參與者將能夠：

• 設計並實施適用於結構化和非結構化數據的大型數據處理流程。
• 在海量數據集上應用高級機器學習和深度學習技術。
• 利用分散式計算框架進行實時分析和數據串流處理。
• 將大數據分析整合至商業智慧和決策系統中。

課程格式

• 互動式講座與討論。
• 大量的練習與實作環節。
• 在即時實驗室環境中的動手實作。

課程自訂選項

• 如需為本課程申請客製化培訓，請聯繫我們以安排事宜。

本次在 澳門（線上或線下）舉辦的由講師指導的現場培訓，旨在讓具備中階資歷的 IT 專業人士全面掌握 IBM DataStage，從管理與開發兩個視角出發，使學員能夠在工作場所中有效管理和利用此工具。

完成本課程後，學員將能夠：

• 理解 DataStage 的核心概念。
• 學習如何有效安裝、配置和管理 DataStage 環境。
• 連接到各種數據源，並高效地從資料庫、平面檔案和外部來源提取數據。
• 實施有效的數據載入技術。

這項由講師指導的培訓課程在 澳門（線上或線下）進行，旨在幫助初級至中級的系統管理員部署、維護並優化 Spark 集羣。

完成本培訓後，參與者將能夠：

• 在不同環境中安裝和配置 Apache Spark
• 管理集羣資源並監控 Spark 應用程序
• 優化 Spark 集羣的性能
• 實施安全措施並確保高可用性
• 調試並排除常見的 Spark 問題

在此 澳門 由講師帶領的現場培訓中，參與者將在實作練習的同時，學習如何結合使用 Python 和 Spark 來分析大數據。

完成此課程後，參與者將能夠：

• 掌握如何使用 Spark 搭配 Python 分析大數據。
• 進行模擬真實案例的練習。
• 運用不同工具與技術，透過 PySpark 執行大數據分析。

技術的進步和信息量的增加正在改變包括政府在內的許多行業的商業運營方式。由於移動設備和應用程序、智能傳感器和設備、雲計算解決方案以及面向公民的門戶的快速增長，政府數據生成和數字存檔率正在上升。隨著數字信息的擴展和變得更加複雜，信息管理、處理、存儲、安全和處置也變得更為複雜。新的捕獲、搜索、發現和分析工具正在幫助組織從非結構化數據中獲取見解。政府市場正處於臨界點，意識到信息是戰略資產，政府需要保護、利用並分析結構化和非結構化信息，以更好地服務並滿足任務需求。政府領導者在努力演變為數據驅動型組織以成功完成任務時，正在為相關事件、人員、流程和信息的依賴關係奠定基礎。

高價值的政府解決方案將由最具破壞性的技術組合而成：

• 移動設備和應用程序
• 雲端服務
• 社交業務技術與網絡
• 大數據與分析

大數據是智能行業解決方案之一，它允許政府通過基於分析大量相關和非相關、結構化和非結構化數據所揭示的模式來採取行動，從而做出更好的決策。

但實現這些壯舉絕不僅僅是積累大量的數據。白宮科學和技術政策辦公室（OSTP）的 Tom Kalil 和 Fen Zhao 在 OSTP 博客的一篇帖子中寫道：「理解這些大數據量需要最先進的工具和技術，能夠從廣泛多樣的信息流中分析並提取有用的知識。」

當白宮於2012年設立國家大數據研發計劃時，它向幫助機構找到這些技術邁出了一步。該計劃包括超過2億美元的資金，以充分利用大數據的爆炸式增長及其分析所需的工具。

大數據帶來的挑戰幾乎與其鼓勵的潛力一樣令人望而生畏。高效存儲數據便是挑戰之一。預算始終緊迫，因此機構必須將每兆字節的存儲成本降至最低，並確保數據便於訪問，以便用戶在需要時以所需方式獲取數據。備份大量數據更增加了這一挑戰。

有效分析數據是另一個主要挑戰。許多機構採用商業工具，使它們能夠從海量數據中篩選出有助於提高效率的趨勢。（MeriTalk 近期的一項研究發現，聯邦 IT 主管認為大數據可能幫助機構節省超過5000億美元，同時實現任務目標。）

定製開發的大數據工具也允許機構解決分析其數據的需求。例如，橡樹嶺國家實驗室的計算數據分析小組已將其 Piranha 數據分析系統提供給其他機構使用。該系統已幫助醫學研究人員找到可以在動脈瘤發作前警示醫生的關聯。它也用於更常規的任務，例如篩選簡歷以將應聘者與招聘經理配對。

在這堂位於澳門的由講師指導的實訓中，學員將學習如何以正確的思維方式面對大數據技術，評估其對現有流程和政策的影响，並實施這些技術以識別犯罪活動和預防犯罪。我們將研究來自世界各地執法機構的案例，深入了解他們的採用方法、挑戰和結果。

通過本次培訓，學員能夠：

• 將大數據技術與傳統數據收集過程結合，在調查中拼湊出故事。
• 實施工業級大數據存儲和處理解決方案以進行數據分析。
• 準備一份關於採用最合適工具和流程的提案，以實現數據驅動的刑事調查方法。

大數據是一種旨在存儲和處理大型數據集的解決方案。這些大數據解決方案最初由Google開發，之後不斷演進並啟發了許多其他類似項目，其中很多已作為開源軟件提供。R在金融行業中是一門廣泛使用的編程語言。

課程概述

本課程提供建構即時資料串流系統的實務且結構化的介紹。涵蓋核心概念，架構模式與產業工具用於大規模處理連續資料。學員將學習如何設計、實作及優化現代框架下的串流管線。此課程從基礎理念進展至實際應用，使學習者能自信地建構生產級別的即時解決方案。

培訓格式

• 講師主導的課程與引導式解說

 • 概念闡述搭配真實世界範例

 • 實作示範與程式編寫練習  

• 配合每日主題的漸進式實驗室課程

 • 互動討論與問答   

課程目標

• 了解即時資料串流概念與系統架構

 • 區分批處理與串流資料處理模型  

• 設計具可擴展性與容錯能力的串流管線  

• 使用分散式串流工具與框架  

• 應用事件時間處理，視窗化及有狀態操作  

為商業用途建立並優化即時資料解決方案  

Apache NiFi 是一個開源的基於流程的數據集成和事件處理平台。它具備基於網頁的用戶界面以及精細的控制功能，可實現跨不同系統間的自動化、實時數據路由、轉換與中介處理。

本課程由講師現場指導進行，支持線下或遠程授課方式，旨在讓中級管理員及工程師學習如何在生產環境中部署、管理、保障以及優化 NiFi 數據流。

完成培訓後，學員將能夠：

• 安裝、配置並維護 Apache NiFi 叢集。
• 設計和管理來自不同源端和目的端的數據流。
• 實現流程自動化、路由以及轉換邏輯。
• 優化性能，監控運營狀況，並排查故障問題。

課程形式

• 互動式講授，結合真實世界架構討論。
• 實踐操作練習：構建、部署及管理流程。
• 在實訓環境中進行情境化練習。

課程定製選項

• 如需針對本課程申請定製培訓，請聯繫我們安排。

本培訓提供實用的入門指導，助您使用 PySpark 構建可擴展的數據處理和機器學習工作流程。參與者將學習 Apache Spark 如何在現代大數據生態系統中運作，以及如何利用分布式計算原則高效處理大型數據集。

此在澳門（線上或線下）舉行的講師引導實訓，針對希望設置並部署Apache Spark系統以處理海量資料的工程師。

完成本培訓後，學員將能夠：

• 安裝並配置Apache Spark。
• 快速處理和分析超大資料集。
• 理解Apache Spark與Hadoop MapReduce之間的差異，以及何時使用哪種工具。
• 將Apache Spark與其他機器學習工具集成。

初學 Apache Spark 時，學習曲線較為陡峭，初期需要投入大量努力才能看到成果。本課程旨在幫助學員跨越這一艱難階段。完成課程後，學員將掌握 Apache Spark 的基本原理，清晰區分 RDD 與 DataFrame，並學習 Python 和 Scala API，理解執行者 (executors) 與任務 (tasks) 等概念。此外，遵循最佳實踐，本課程重點聚焦於雲端部署、Databricks 和 AWS。學員亦將了解 AWS EMR 與 AWS Glue（AWS 最新的 Spark 服務之一）之間的差異。

適用對象：

資料工程師、DevOps、資料科學家

這門位於 澳門 的實時培訓（線上或線下）旨在幫助技術人員部署 Talend Open Studio for Big Data，簡化閱讀和分析大數據的過程。

在培訓結束後，參與者將能夠：

• 安裝並配置 Talend Open Studio for Big Data。
• 連接至 Cloudera、HortonWorks、MapR、Amazon EMR 和 Apache 等大數據系統。
• 理解並設置 Open Studio 的大數據組件和連接器。
• 配置參數以自動生成 MapReduce 代碼。
• 使用 Open Studio 的拖放界面運行 Hadoop 任務。
• 構建大數據流水線原型。
• 自動化大數據整合專案。