Apache NiFi for Administrators培訓

NiFi 與數據流基礎

• 動態數據與靜態數據：概念與挑戰
• NiFi 架構：核心組件、流程控制器、來源追蹤（Provenance）及公告板（Bulletin）
• 關鍵組件：處理器（Processors）、連接（Connections）、控制器（Controllers）及來源追蹤

大數據背景與集成

• NiFi 在大數據生態系統中的角色（Hadoop, Kafka, 雲存儲）
• HDFS、MapReduce 及其現代替代方案的概覽
• 使用案例：流式攝取、日誌傳輸、事件管道

安裝、配置與集群設置

• 在單節點及集群模式下安裝 NiFi
• 集群配置：節點角色、Zookeeper 及負載均衡
• 編排 NiFi 部署：使用 Ansible、Docker 或 Helm

數據流程的設計与管理

• 流程的路由、過濾、拆分與合併
• 處理器配置（InvokeHTTP, QueryRecord, PutDatabaseRecord 等）
• 處理模式（Schema）、數據增強及轉換操作
• 錯誤處理、重試關係及背壓（Backpressure）

集成場景

• 連接數據庫、消息系統及 REST API
• 向分析系統流式傳輸：Kafka、Elasticsearch 或雲存儲
• 與 Splunk、Prometheus 或日誌管道集成

監控、恢復與來源追蹤

• 使用 NiFi UI、指標及來源追蹤視覺化工具
• 設計自主恢復及優雅故障處理機制
• 備份、流程版本管理及變更管理

性能調優與優化

• 調優 JVM、堆內存、線程池及集群參數
• 優化流程設計以減少瓶頸
• 資源隔離、流程優先級及吞吐量控制

最佳實踐與治理

• 流程文檔、命名標準及模塊化設計
• 安全性：TLS、身份驗證、訪問控制及數據加密
• 變更控制、版本管理、基於角色的訪問控制及審計軌跡

故障排查與應急響應

• 常見問題：死鎖、內存洩漏、處理器錯誤
• 日誌分析、錯誤診斷及根本原因調查
• 恢復策略及流程回滾

實操實驗室：真實數據管道實現

• 構建端到端流程：攝取、轉換、交付
• 實現錯誤處理、背壓及擴展性
• 管道性能測試與調優

總結與後續步驟