Flink for Scalable Stream and Batch Data Processing培訓

這種以講師為主導的現場培訓（現場或遠程）是針對希望使用Confluent（Kafka的分發）為其應用程序構建和管理實時數據處理平台的工程師。

在培訓結束時，參與者將能夠：

• 安裝和配置Confluent Platform。
• 使用Confluent的管理工具和服務可以更輕鬆地運行Kafka。
• 存儲和處理傳入的流數據。
• 優化和管理Kafka集群。
• 安全的數據流。

課程格式

• 互動講座和討論。
• 大量的練習和練習。
• 在實時實驗室環境中親自實施。

課程自定義選項

• 本課程基於Confluent：Confluent Open Source的開源版本。
• 要申請本課程的定制培訓，請聯繫我們安排。

在這個以講師為主導的澳門現場培訓（現場或遠端）中，參與者將學習如何設置不同的Stream Processing框架並將其與現有的大數據存儲系統以及相關的軟體應用程式和微服務集成。

在培訓結束時，參與者將能夠：

• 安裝和配置不同的 Stream Processing 框架，例如 Spark Streaming 和 Kafka Streaming。
• 瞭解並選擇最適合工作的框架。
• 以逐條記錄的方式連續、併發地處理數據。
• 將 Stream Processing 解決方案與現有資料庫、數據倉庫、數據湖等集成。
• 將最合適的流處理庫與企業應用程式和微服務集成 。

這種以講師為主導的澳門現場現場培訓面向希望在數據流中使用Apache Kafka功能的數據工程師，數據科學家和程式師Python。

在培訓結束時，參與者將能夠使用Apache Kafka 通過 Python 程式設計來監控和管理連續數據流中的條件。

Kafka Streams是一個客戶端庫，用於構建應用程序和微服務，其數據傳入和傳出Kafka消息傳遞系統。傳統上， Apache Kafka依靠Apache Spark或Apache Storm來處理消息生成者和消費者之間的數據。通過在應用程序內調用Kafka Streams API，可以直接在Kafka中處理數據，從而無需將數據發送到單獨的集群進行處理。

在這個由講師指導的實時培訓中，參與者將學習如何將Kafka Streams集成到一組示例Java應用程序中，這些應用程序將數據傳入和傳出Apache Kafka以進行流處理。

在培訓結束時，參與者將能夠：

• 了解Kafka Streams的功能和優勢，而不是其他流處理框架
• 直接在Kafka集群中處理流數據
• 編寫與Kafka和Kafka Streams集成的Java或Scala應用程序或微服務
• 編寫簡潔的代碼，將輸入的Kafka主題轉換為輸出Kafka主題
• 構建，打包和部署應用程序

聽眾

• 開發商

課程 格式

• 部分講座，部分討論，練習和繁重的實踐練習

筆記

• 要申請本課程的定制培訓，請聯繫我們安排

Apache Samza是一個用於流處理的開源近實時異步計算框架。它使用Apache Kafka進行消息傳遞，使用Apache Kafka Hadoop YARN進行容錯，處理器隔離，安全性和資源管理。

這個由講師指導的實時培訓介紹了消息傳遞系統和分佈式流處理背後的原理，同時通過創建基於Samza的示例項目和作業執行來引導參與者。

在培訓結束時，參與者將能夠：

• 使用Samza簡化生成和使用消息所需的代碼。
• 解耦來自應用程序的消息處理。
• 使用Samza實現近實時異步計算。
• 使用流處理為消息傳遞系統提供更高級別的抽象。

聽眾

• 開發商

課程形式

• 部分講座，部分討論，練習和繁重的實踐練習

在這個由講師指導的澳門現場（現場或遠端）的現場培訓中，參與者將學習如何在現場實驗室環境中部署和管理Apache NiFi。

在培訓結束時，參與者將能夠：

• 安裝和配置 Apachi NiFi。
• 從不同的分散式數據源（包括資料庫和大數據湖）中獲取、轉換和管理數據。
• 自動化數據流。
• 啟用流式分析。
• 應用各種方法進行數據引入。
• 轉換 Big Data 並轉化為業務見解。

在這個由講師指導的澳門現場培訓中，參與者將學習基於流程的程式設計的基礎知識，因為他們使用Apache NiFi開發許多演示擴展，元件和處理器。

在培訓結束時，參與者將能夠：

• 瞭解 NiFi 的架構和數據流概念。
• 使用 NiFi 和第三方 API 開發擴展。
• 定製開發自己的Apache Nifi處理器。
• 從不同且不常見的檔案格式和數據源中提取和處理實時數據。

Apache Storm是一個分布式的實時計算引擎，用于實現實時商業智能。它通過使應用程序可靠地處理不受限制的數據流（又名流處理）來實現。 “Storm是爲了實時處理Hadoop用于批處理的！” 在這個有指導性的實時培訓中，參與者將學習如何安裝和配置Apache Storm，然後開發和部署Apache Storm應用程序以實時處理大數據。 本次培訓中包含的一些主題包括： Apache Storm在Hadoop的環境中處理無限數據連續計算實時分析分布式RPC和ETL處理立即申請此課程！ 聽衆 軟件和ETL開發人員大型機專業人員數據科學家大數據分析師 Hadoop專業人員 課程的格式 部分講座，部分討論，練習和沈重的練習

Apache Apex是一個統一流和批處理的YARNnative平台。它以可伸縮，高性能，容錯，有狀態，安全，分布式和易于操作的方式處理大型數據移動。 這個有指導性的現場培訓介紹了Apache Apex的統一流處理架構，並向參與者介紹了如何在Hadoop上使用Apex創建分布式應用程序。 在培訓結束後，參與者將能夠： 了解數據處理管道概念，例如源和彙的連接器，通用數據轉換等。 構建，擴展和優化Apex應用程序可靠地處理實時數據流，延遲時間最短使用Apex Core和Apex Malhar庫實現快速應用程序開發使用Apex API來編寫和重用現有的Java代碼將Apex作爲處理引擎集成到其他應用程序中調整，測試和縮放Apex應用程序 聽衆 開發商企業架構師 課程的格式 部分講座，部分討論，練習和沈重的練習

Apache Beam是一個開源的統一編程模型，用于定義和執行並行數據處理管道。它的強大之處在于它能夠同時運行批處理流和流式管道，並且由Beam支持的分布式處理後端之一執行：Apache Apex，Apache Flink，Apache Spark和Google Cloud Dataflow。 Apache Beam可用于ETL（提取，轉換和加載）任務，如在不同存儲介質和數據源之間移動數據，將數據轉換爲更理想的格式以及將數據加載到新系統中。 在這個有指導意義的現場培訓（現場或遠程）中，參與者將學習如何在Java或Python應用程序中實現Apache Beam SDK，該應用程序定義了一個數據處理管道，用于將大數據集分解爲更小的塊，以進行獨立的並行處理。 在培訓結束後，參與者將能夠： 安裝並配置Apache Beam。 使用單一編程模型來執行批處理和流處理，而不是使用其Java或Python應用程序。 在多個環境中執行管道。 聽衆 開發商 課程的格式 部分講座，部分討論，練習和沈重的練習 注意 此課程將在未來可用于Scala。請聯系我們安排。

這種由講師指導的澳門現場現場培訓面向希望在逐步創建示例記憶體計算專案時學習持久性和純記憶體存儲背後的原理的開發人員。

在培訓結束時，參與者將能夠：

使用 Ignite 實現記憶體中、磁碟上的持久性以及純分散式記憶體中資料庫。 在不將數據同步回關係資料庫的情況下實現持久性。 使用 Ignite 執行 SQL 和分散式聯接。 通過使用 RAM 作為存儲，將數據移動到更靠近 CPU 的位置來提高性能。 將數據集分佈在集群中，以實現水準可擴展性。 將 Ignite 與 RDBMS、NoSQL、Hadoop 和機器學習處理器集成。

這種以講師為主導的澳門現場培訓（現場或遠端）針對的是希望在不編寫代碼的情況下實現Apache Kafka流處理的開發人員。

在培訓結束時，參與者將能夠：

• 安裝和配置 Confluent KSQL。
• 僅使用 SQL 命令（不使用 Java 或 Python 編碼）設置流處理管道。
• 完全在 SQL 中執行資料過濾、轉換、聚合、聯接、視窗化和會話化。
• 設計和部署互動式連續查詢，用於流式 ETL 和即時分析。

這種由講師指導的澳門現場現場培訓針對的是希望使用Spark Streaming功能處理和分析即時數據的數據工程師，數據科學家和程式師。

在培訓結束時，參與者將能夠使用 Spark Streaming 處理實時數據流，以便在資料庫、文件系統和即時儀錶板中使用。