Apache NiFi for Administrators培訓

NiFi 基礎與數據流概念

• 運行中數據 vs. 靜態存儲數據：概念與挑戰
• NiFi 架構核心、流程控制器、證據鏈及公告機制
• 關鍵組件：處理器、連接器、控制器以及證據鏈

大數據背景與集成

• NiFi 在大數據生態系統（如 Hadoop, Kafka, 雲存儲）中的角色
• HDFS、MapReduce 及現代替代方案的概覽
• 典型用例：流式數據接入、日誌傳輸、事件處理管道

安裝、配置與叢集搭建

• 單節點及集群模式下的 NiFi 安裝
• 集群配置：節點角色、Zookeeper 集成以及負載均衡
• 使用 Ansible、Docker 或 Helm 協調部署 NiFi

設計與管理數據流

• 路由、過濾、拆分以及合併流程
• 處理器配置（例如 InvokeHTTP, QueryRecord, PutDatabaseRecord 等）
• 處理模式架構、數據豐富化及轉換操作
• 錯誤處理、重試機制以及背壓控制

集成場景

• 連接資料庫、消息系統以及 REST APIs
• 向分析系統發送流式數據：Kafka, Elasticsearch 或雲存儲
• 集成 Splunk、Prometheus 或日誌處理管道

監控、恢復與證據鏈管理

• 使用 NiFi UI、指標系統及證據鏈可視化分析工具
• 設計自動化恢復機制以及優雅的故障處理策略
• 備份、流程版本控制及應變管理

性能調優與優化

• 調優 JVM、堆內存、線程池以及叢集參數
• 優化流程設計以減少瓶頸
• 資源隔離、流程優先級分配以及吞吐量控制

最佳實踐與治理

• 流程文檔編寫、命名規範及模塊化設計
• 安全性方面：TLS、身份驗證、訪問控制以及數據加密
• 變更控制、版本管理、基於角色的權限管理及審計追蹤

故障排除與事件響應

• 常見問題：死鎖、內存泄漏、處理器錯誤等
• 日誌分析、錯誤診斷及根本原因調查
• 恢復策略及流程回滾

實戰練習：真實數據管道實現

• 構建端到端流程：數據接入、轉換以及交付
• 實施錯誤處理、背壓控制以及擴展性配置
• 對管道進行性能測試與調優

總結與後續步驟