Apache Airflow：建構與管理數據管道培訓

Apache Airflow 入門

• 什麼是工作流程編排
• Apache Airflow 的關鍵功能與優勢
• Airflow 2.x 的改進及生態系統概覽

架構與核心概念

• 調度器、Web 服務器及工作者進程
• DAG、任務及操作符
• 執行器及後端（Local、Celery、Kubernetes）

安裝與設置

• 在本地及雲環境中安裝 Airflow
• 使用不同執行器配置 Airflow
• 設置元數據數據庫及連接

導航 Airflow UI 及 CLI

• 探索 Airflow Web 界麵
• 監控 DAG 運行、任務及日誌
• 使用 Airflow CLI 進行管理

DAG 的編寫與管理

• 使用 TaskFlow API 創建 DAG
• 使用操作符、傳感器及掛鉤
• 管理依賴關係及排程間隔

Airflow 與數據及雲服務的集成

• 連接數據庫、API 及消息隊列
• 使用 Airflow 運行 ETL 管道
• 雲集成：AWS、GCP、Azure 操作符

監控與可觀測性

• 任務日誌及實時監控
• 使用 Prometheus 及 Grafana 進行指標監控
• 通過電子郵件或 Slack 進行告警及通知

Apache Airflow 的安全加固

• 基於角色的訪問控制 (RBAC)
• 使用 LDAP、OAuth 及 SSO 進行身份驗證
• 使用 Vault 及雲密鑰存儲進行秘密信息管理

Apache Airflow 的擴展

• 並行性、並發性及任務隊列
• 使用 CeleryExecutor 及 KubernetesExecutor
• 使用 Helm 在 Kubernetes 上部署 Airflow

生產環境最佳實踐

• DAG 的版本控制及 CI/CD
• DAG 的測試及除錯
• 在規模化環境中維護可靠性及性能

故障排除與優化

• 除錯失敗的 DAG 及任務
• 優化 DAG 性能
• 常見陷阱及如何避免

總結與下一步驟