聯繫我們

課程簡介

數據密集型平台工程基礎

  • 數據密集型應用介紹
  • 大數據平台工程的挑戰
  • 數據處理架構概覽

數據建模與管理

  • 可擴展性的數據建模原則
  • 數據存儲選項與優化
  • 分散式環境中的數據生命週期管理

大數據處理框架

  • 大數據處理工具概覽(Hadoop, Spark, Flink)
  • 批次處理與流處理對比
  • 搭建大數據處理管道

實時分析平台

  • 實時分析的架構設計
  • 流處理引擎(Kafka Streams, Apache Storm)
  • 構建實時儀表板與可視化

數據管道編排

  • 使用Apache Airflow等工作流管理工具
  • 自動化數據管道以提升效率
  • 數據管道的監控與警報

平台安全與合規

  • 數據平台的安全最佳實踐
  • 確保數據隱私與法規合規
  • 實施安全的數據訪問控制

性能調優與優化

  • 優化數據吞吐量與延遲的技術
  • 數據密集型平台的擴展策略
  • 性能基準測試與監控

案例研究與最佳實踐

  • 分析成功的數據平台實施案例
  • 來自行業領先者的經驗教訓
  • 數據密集型平台工程的新興趨勢

實作專案

  • 為數據密集型應用設計平台解決方案
  • 實現數據處理管道的原型
  • 評估平台的性能與可擴展性

總結與後續步驟

最低要求

  • 具備數據結構與算法的基本理解
  • 擁有Java、Scala或Python程式設計經驗
  • 熟悉資料庫與SQL的基本概念

適用對象

  • 軟體開發者
  • 數據工程師
  • 技術負責人
 21 小時

客戶評論 (1)

課程分類