Apache Airflow：構建與管理資料管線培訓

Apache Airflow 介紹

• 什麼是工作流程協調
• Apache Airflow 的關鍵功能與優勢
• Airflow 2.x 的改進與生態系概覽

架構與核心概念

• 排程器、Web 伺服器與工作程序
• DAG、任務與操作符
• 執行器與後端（Local, Celery, Kubernetes）

安裝與設定

• 在本地與雲端環境中安裝 Airflow
• 使用不同的執行器配置 Airflow
• 設定後端資料庫與連線

瀏覽 Airflow UI 與 CLI

• 探索 Airflow Web 介面
• 監控 DAG 運行、任務與日誌
• 使用 Airflow CLI 進行管理

撰寫與管理 DAG

• 使用 TaskFlow API 建立 DAG
• 使用操作符、感應器與鉤子
• 管理相依性與排程間隔

將 Airflow 整合至資料與雲端服務

• 連線至資料庫、API 與訊息佇列
• 使用 Airflow 執行 ETL 管線
• 雲端整合：AWS, GCP, Azure 操作符

監控與可觀測性

• 任務日誌與即時監控
• 使用 Prometheus 和 Grafana 的指標
• 透過電子郵件或 Slack 進行告警與通知

保護 Apache Airflow

• 基於角色的存取控制 (RBAC)
• 使用 LDAP, OAuth 和 SSO 進行認證
• 使用 Vault 與雲端憑證儲存庫管理機密

擴展 Apache Airflow

• 並行度、併發性與任務佇列
• 使用 CeleryExecutor 與 KubernetesExecutor
• 透過 Helm 在 Kubernetes 上部署 Airflow

生產環境最佳實踐

• DAG 的版本控制與 CI/CD
• 測試與除錯 DAG
• 維持大規模下的可靠性與效能

疑難排解與優化

• 除錯失敗的 DAG 與任務
• 優化 DAG 效能
• 常見陷阱及避免方法

摘要與後續步驟