感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
Apache Airflow基礎回顧
- 核心概念:DAGs,任務和操作器
- Airflow架構和組件
- 常見用例和工作流程概述
優化工作流程性能
- 識別Airflow管道中的瓶頸
- 任務層面的優化技術
- 利用任務重試,並行和併發性
管理複雜依賴關係
- 定義工作流程中的動態依賴關係
- 處理條件和分支工作流程
- 有效使用任務組和子DAGs
Apache Airflow進階功能
- 創建自定義操作器和鉤子
- 實現外部觸發器的感測器
- 集成第三方服務和插件
擴展Apache Airflow部署
- 水平和垂直擴展方法
- 使用Celery執行器進行分佈式執行
- 雲環境中擴展的最佳實踐
監控與除錯工作流程
- 配置工作流程監控的記錄和警報
- 使用Airflow UI和CLI進行故障排除
- 識別並解決Airflow部署中的常見問題
確保Apache Airflow安全
- Airflow中的身份驗證和訪問控制
- 保護敏感數據和環境配置
- 實施工作流程審計軌跡
企業用例與最佳實踐
- 為生產環境設計穩健的工作流程
- 利用Airflow進行數據工程和ETL管道
- 探索可擴展Airflow部署的實際案例研究
總結與後續步驟
最低要求
- 具備Apache Airflow的基本知識
- 熟悉Python編程和工作流協調概念
- 有在Linux環境中管理和部署應用的經驗
受眾
- 數據工程師
- DevOps專業人員
- 軟件開發人員
21 小時
客戶評論 (1)
講師根據學員的水平調整了培訓內容,並回答了所有問題。他非常善於溝通,與他互動非常輕鬆。我非常欣賞培訓的形式,其中包含了許多實踐練習。總的來說,這是一次非常引人入勝且組織有序的課程。
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
課程 - Apache Airflow: Building and Managing Data Pipelines
機器翻譯