感謝您提交詢問！我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂！我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
引言、目標與遷移策略
- 課程目標、參與者背景匹配及成功標準
- 高層級遷移方法與風險考量
- 設置工作區、倉庫及實驗室數據集
第 1 天 — 遷移基礎與架構
- 湖倉一體概念、Delta Lake 概覽及 Databricks 架構
- SMP 與 MPP 的差異及其對遷移的影響
- Medallion（銅→銀→金）設計與 Unity Catalog 概覽
第 1 天實驗 — 轉譯存儲過程
- 將示例存儲過程遷移至筆記本的實踐操作
- 將臨時表和遊標映射為 DataFrame 轉換
- 與原始輸出進行驗證和對比
第 2 天 — Advanced Delta Lake 與增量加載
- ACID 事務、提交日誌、版本控制及時間旅行功能
- Auto Loader、MERGE INTO 模式、UPSERTs 及架構演化
- OPTIMIZE、VACUUM、Z-ORDER、分區及存儲調優
第 2 天實驗 — 增量加載與優化
- 實現 Auto Loader 加載及 MERGE 工作流程
- 應用 OPTIMIZE、Z-ORDER 及 VACUUM，並驗證結果
- 測量讀寫性能提升效果
第 3 天 — Databricks 中的 SQL、性能與調試
- 分析型 SQL 特性：窗口函數、高階函數及 JSON/數組處理
- 閱讀 Spark UI、DAGs、Shuffles、階段、任務並診斷瓶頸
- 查詢調優模式：廣播連接、提示、緩存及減少溢位
第 3 天實驗 — SQL 重構與性能調優
- 將複雜的 SQL 過程重構為最佳化的 Spark SQL
- 使用 Spark UI 跟蹤來識別並修復數據傾斜及 Shuffle 問題
- 記錄調優步驟的前後基準測試
第 4 天 — 實戰 PySpark：替代程序化邏輯
- Spark 執行模型：驅動器、執行器、惰性求值及分區策略
- 將循環和遊標轉換為向量化 DataFrame 操作
- 模塊化、UDFs/pandas UDFs、Widgets 及可重用庫
第 4 天實驗 — 重構程序腳本
- 將程序化 ETL 腳本重構為模塊化 PySpark 筆記本
- 引入參數化、類單元測試及可重用函數
- 代碼審查與最佳實踐清單應用
第 5 天 — 調度、全流程管道與最佳實踐
- Databricks Workflows：任務設計、依賴關係、觸發器及錯誤處理
- 設計包含質量規則和架構驗證的增量 Medallion 管道
- 與 Git（GitHub/Azure DevOps）、CI 集成，以及 PySpark 邏輯的測試策略
第 5 天實驗 — 構建完整的全流程管道
- 構建由 Workflows 調度的銅→銀→金管道
- 實現日誌記錄、審計、重試及自動驗證
- 運行完整管道、驗證輸出並準備部署註釋
運營化、治理與生產就緒性
- Unity Catalog 治理、線索追蹤及訪問控制的最佳實踐
- 成本、集群規模設定、自動縮放及任務併發模式
- 部署清單、回滾策略及操作手冊編寫
最終複習、知識轉移及後續步驟
- 參與者展示遷移工作及經驗教訓
- 差距分析、推薦的後續活動及培訓材料移交
- 參考資料、進階學習路徑及支持選項
最低要求
- 理解數據工程概念
- 具備 SQL 和存儲過程（Synapse / SQL Server）使用經驗
- 熟悉 ETL 調度概念（如 ADF 或類似工具）
受眾
- 具有數據工程背景的技術經理
- 希望將程序化 OLAP 邏輯遷移至湖倉一體模式的數據工程師
- 負責 Databricks 導入的平台工程師
35 小時
