Building Stream Processing Applications with Kafka Streams培訓
Kafka Streams 是一個客戶端庫,用於構建應用程序和微服務,其數據在 Kafka 消息系統之間傳遞。傳統上,Apache Kafka 依賴於 Apache Spark 或 Apache Storm 來處理消息生產者和消費者之間的數據。通過在應用程序中調用 Kafka Streams API,數據可以直接在 Kafka 中進行處理,從而避免了將數據發送到單獨的集群進行處理的需求。
在這場由講師指導的線下培訓中,參與者將學習如何將 Kafka Streams 集成到一組示例 Java 應用程序中,這些應用程序在 Apache Kafka 之間傳遞數據以進行流處理。
在培訓結束時,參與者將能夠:
- 了解 Kafka Streams 的功能及其相較於其他流處理框架的優勢
- 直接在 Kafka 集群中處理流數據
- 編寫與 Kafka 和 Kafka Streams 集成的 Java 或 Scala 應用程序或微服務
- 編寫簡潔的代碼,將輸入的 Kafka 主題轉換為輸出的 Kafka 主題
- 構建、打包並部署應用程序
目標受眾
- 開發人員
課程形式
- 部分講座、部分討論、練習和大量動手實踐
注意事項
- 如需為本課程定制培訓,請聯繫我們安排
課程簡介
簡介
- Kafka 與 Spark、Flink 和 Storm 的比較
Kafka Streams 功能概述
- 有狀態和無狀態處理、事件時間處理、DSL、基於事件時間的窗口操作等
案例研究:使用 Kafka Streams API 進行預算預測
設置開發環境
創建 Streams 應用程序
啟動 Kafka 集群
準備主題和輸入數據
處理流數據的選項
- 高級 Kafka Streams DSL
- 低級 Processor
轉換輸入數據
檢查輸出數據
停止 Kafka 集群
應用程序部署選項
- 經典運維工具(Puppet、Chef 和 Salt)
- Docker
- WAR 文件
故障排除
總結與結論
最低要求
- 理解Apache Kafka
- Java编程經驗
需要幫助選擇合適的課程嗎?
Building Stream Processing Applications with Kafka Streams培訓 - 詢問
Building Stream Processing Applications with Kafka Streams - 咨詢詢問
咨詢詢問
客戶評論 (1)
Recalling/reviewing keypoints of the topics discussed.
Paolo Angelo Gaton - SMS Global Technologies Inc.
課程 - Building Stream Processing Applications with Kafka Streams
相關課程
Apache Kafka Connect
7 時間:本次由講師指導的培訓在 澳門(線上或線下)面向希望將 Apache Kafka 與現有數據庫和應用程序集成以進行處理、分析等的開發者。
培訓結束後,參與者將能夠:
- 使用 Kafka Connect 將大量數據從數據庫導入 Kafka 主題。
- 將應用服務器生成的日誌數據導入 Kafka 主題。
- 使收集到的數據可用於流處理。
- 將數據從 Kafka 主題導出到二級系統進行存儲和分析。
使用 Confluent 構建 Kafka 解決方案
14 時間:這是一個由講師指導的培訓課程(線上或線下),旨在幫助工程師使用Confluent(Kafka的分發版本)來構建和管理實時數據處理平台,以滿足其應用需求。
在培訓結束時,參與者將能夠:
- 安裝和配置Confluent Platform。
- 使用Confluent的管理工具和服務,更輕鬆地運行Kafka。
- 存儲和處理流入的串流數據。
- 優化和管理Kafka集群。
- 確保數據串流的安全性。
課程形式
- 互動式講座和討論。
- 大量的練習和實踐。
- 在實時實驗室環境中進行動手操作。
課程定制選項
- 本課程基於Confluent的開源版本:Confluent Open Source。
- 如需為本課程定制培訓,請聯繫我們安排。
使用 Apache Kafka 構建數據管道
7 時間:Apache Kafka 是一個分佈式流處理平臺。它實際上是構建數據管道的標準,解決了數據處理中的許多不同用例:它可以用作消息隊列、分佈式日誌、流處理器等。
我們將從數據管道的一般理論開始,然後繼續探討 Kafka 的基本概念。我們還將瞭解重要的組件,如 Kafka Streams 和 Kafka Connect。
A Practical Introduction to Stream Processing
21 時間:在這次由講師指導的澳門(線下或遠程)培訓中,學員將學習如何設置和集成不同的流處理框架與現有的大數據存儲系統及相關軟件應用和微服務。
培訓結束後,學員將能夠:
- 安裝和配置不同的流處理框架,如Spark Streaming和Kafka Streaming。
- 理解並選擇最適合的框架。
- 以連續、併發和逐條記錄的方式處理數據。
- 將流處理解決方案與現有數據庫、數據倉庫、數據湖等集成。
- 將最適合的流處理庫與企業應用和微服務集成。
Distributed Messaging with Apache Kafka
14 時間:本課程適用於企業架構師,開發人員,系統管理員以及任何想要了解和使用高吞吐量分佈式消息傳遞系統的人員。如果您有更多特定要求(例如,僅限系統管理方),可以根據您的需求定製本課程。
Kafka管理員
21 時間:本課程爲講師指導的培訓,在澳門(線上或線下)進行,面向希望設置、部署、管理和優化企業級Kafka集羣的系統管理員。
培訓結束後,參與者將能夠:
- 設置和管理Kafka集羣。
- 評估在本地部署與在雲中部署Kafka的優缺點。
- 使用各種本地和雲環境工具部署和監控Kafka。
Apache Kafka開發者培訓
21 時間:本課程爲講師指導的培訓,在澳門(線上或線下)進行,面向希望使用Apache Kafka開發大數據應用的中級開發者。
通過本培訓,參與者將能夠:
- 開發Kafka生產者和消費者,以發送和讀取Kafka數據。
- 使用Kafka Connect將Kafka與外部系統集成。
- 使用Kafka Streams和ksqlDB編寫流處理應用程序。
- 將Kafka客戶端應用程序與Confluent Cloud集成,用於基於雲的Kafka部署。
- 通過動手練習和實際案例獲得實踐經驗。
Apache Kafka 面向 Python 程序員
7 時間:這種以講師為主導的澳門現場培訓(現場或遠端)針對數據工程師,數據科學家和程式師,他們希望在數據流中使用Apache Kafka功能Python。
在本次培訓結束時,參與者將能夠使用 Apache Kafka 通過 Python 程式設計來監控和管理連續數據流中的條件。
Kafka 基礎知識 Java 開發人員
14 時間:本課程為期 3 天,專為希望將 Apache Kafka 整合到應用程序中以實現可靠、可擴展和高吞吐量消息傳遞的中級開發人員 Java 而設計。
參加者到達培訓結束時將能夠:
- 了解 Kafka 的架構和核心組件。
- 設置和配置 Kafka 叢集。
- 使用 Java 生產和消費消息。
- 實現即時數據處理的 Kafka Streams。
- 確保 Kafka 應用程序的容錯和可擴展性。
Administration of Kafka Message Queue
14 時間:這種由講師指導的現場培訓澳門(在線或遠端)面向希望有效利用 Kafka 消息佇列功能的中級系統管理員。
在培訓結束時,參與者將能夠:
- 瞭解 Kafka 的消息佇列功能和架構。
- 為消息佇列場景配置 Kafka 主題。
- 使用 Kafka 生成和使用消息。
- 將 Kafka 作為消息佇列進行監控和管理。
Apache Kafka 安全
7 時間:本次由講師主導的培訓(線上或線下)面向希望爲 Apache Kafka 應用程序實施網絡安全措施的軟件測試人員。
培訓結束後,參與者將能夠:
- 將 Apache Kafka 部署到基於雲的服務器上。
- 實施 SSL 加密以防止攻擊。
- 添加 ACL 認證以跟蹤和控制用戶訪問。
- 確保可信客戶端通過 SSL 和 SASL 認證訪問 Kafka 集羣。
Apache Kafka 和 Spring Boot
7 時間:本課程爲講師指導的培訓,在 澳門(線上或線下)進行,面向中級開發者,旨在學習 Kafka 的基礎知識並將其與 Spring Boot 集成。
通過本培訓,學員將能夠:
- 理解 Kafka 及其架構。
- 學習如何安裝、配置和設置基本的 Kafka 環境。
- 將 Kafka 與 Spring Boot 集成。
Administration of Kafka Topic
14 時間:這種由講師指導的現場培訓 澳門(遠端或遠端)面向希望學習如何有效管理 Kafka 主題以實現高效數據流和處理的初級到中級系統管理員。
在培訓結束時,參與者將能夠:
- 瞭解 Kafka 主題基礎知識和體系結構。
- 創建、配置和管理 Kafka 主題。
- 監視 Kafka 主題的運行狀況、性能和可用性。
- 為 Kafka 主題實施安全措施。
SMACK Stack 數據科學
14 時間:本次講師指導的培訓在 澳門(線上或線下)面向希望使用 SMACK 技術棧構建大數據解決方案的數據科學家。
培訓結束後,參與者將能夠:
- 實現用於處理大數據的數據管道架構。
- 使用 Apache Mesos 和 Docker 開發集羣基礎設施。
- 使用 Spark 和 Scala 分析數據。
- 使用 Apache Cassandra 管理非結構化數據。
使用Spring Cloud和Kafka構建微服務
21 時間:本次由講師指導的培訓在澳門(線上或線下)進行,面向希望使用Spring Cloud、Kafka、Docker、Kubernetes和Redis將傳統架構轉換爲高併發的微服務架構的開發人員。
培訓結束後,參與者將能夠:
- 搭建構建微服務所需的開發環境。
- 使用Spring Cloud、Kafka、Redis、Docker和Kubernetes設計和實現高併發的微服務生態系統。
- 將單體架構和SOA服務轉換爲基於微服務的架構。
- 採用DevOps方法進行軟件開發、測試和發佈。
- 確保生產環境中微服務的高併發性。
- 監控微服務並實施恢復策略。
- 進行性能調優。
- 瞭解微服務架構的未來趨勢。