聯繫我們

課程簡介

Apache Airflow基礎回顧

  • 核心概念:DAGs,任務和操作器
  • Airflow架構和組件
  • 常見用例和工作流程概述

優化工作流程性能

  • 識別Airflow管道中的瓶頸
  • 任務層面的優化技術
  • 利用任務重試,並行和併發性

管理複雜依賴關係

  • 定義工作流程中的動態依賴關係
  • 處理條件和分支工作流程
  • 有效使用任務組和子DAGs

Apache Airflow進階功能

  • 創建自定義操作器和鉤子
  • 實現外部觸發器的感測器
  • 集成第三方服務和插件

擴展Apache Airflow部署

  • 水平和垂直擴展方法
  • 使用Celery執行器進行分佈式執行
  • 雲環境中擴展的最佳實踐

監控與除錯工作流程

  • 配置工作流程監控的記錄和警報
  • 使用Airflow UI和CLI進行故障排除
  • 識別並解決Airflow部署中的常見問題

確保Apache Airflow安全

  • Airflow中的身份驗證和訪問控制
  • 保護敏感數據和環境配置
  • 實施工作流程審計軌跡

企業用例與最佳實踐

  • 為生產環境設計穩健的工作流程
  • 利用Airflow進行數據工程和ETL管道
  • 探索可擴展Airflow部署的實際案例研究

總結與後續步驟

最低要求

  • 具備Apache Airflow的基本知識
  • 熟悉Python編程和工作流協調概念
  • 有在Linux環境中管理和部署應用的經驗

受眾

  • 數據工程師
  • DevOps專業人員
  • 軟件開發人員
 21 小時

客戶評論 (1)

課程分類