Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
課程簡介
模組 1.Hadoop 簡介
- Hadoop 分散式檔案系統 (HDFS)
- 讀取路徑和寫入路徑
- 管理文件系統元數據
- Namenode 和 Datanode
- Namenode 高可用性
- Namenode 聯合
- 命令行工具
- 瞭解 REST 支援
模組 2.MapReduce簡介
- 使用Hadoop分析數據
- 映射和縮減模式
- Java MapReduce的
- 橫向擴展
- 數據流
- 開發合路器函數
- 運行分散式MapReduce作業
模組 3.規劃 Hadoop 集群
- 選擇 Hadoop 的發行版和版本
- 版本和功能
- 硬體選型
- 主站和工作器硬體選擇
- 群集大小調整
- 操作系統選擇和準備
- 部署佈局
- 設置使用者、組和許可權
- 磁碟配置
- 網路設計
模組 4.安裝和配置
- 安裝Hadoop
- 配置:概述
- Hadoop XML 配置檔
- 環境變數和Shell腳本
- 日誌記錄配置
- 管理 HDFS
- 優化和調優
- 格式化 Namenode
- 創建 /tmp 目錄
- 思考 Namenode 高可用性
- 擊劍選項
- 自動故障轉移配置
- 格式化和引導名稱節點
- Namenode 聯合
模組 5.瞭解 Hadoop I/O
- HDFS中的數據完整性
- 瞭解編解碼器
- 壓縮和輸入拆分
- 在MapReduce中使用壓縮
- 序列化機制
- 基於文件的數據結構
- SequenceFile 格式
- 其他檔案格式和面向列的格式
模組 6.開發MapReduce應用程式
- 設定 API
- 設置開發環境
- 管理配置
- GenericOptionsParser、Tool 和 ToolRunner
- 使用 MRUnit 編寫單元測試
- 映射器和化簡器
- 在測試數據上本地運行
- 測試驅動程式
- 在集群上運行
- 打包和啟動作業
- The MapReduce Web UI
- 調整作業
模組 7.身份、身份驗證和授權
- 管理身份
- Kerberos 和 Hadoop
- 了解授權
模組 8.資源 Management
- 什麼是資源 Management?
- HDFS 配額
- MapReduce調度程式
- YARN 應用程式運行剖析
- 資源請求
- 應用程式生命週期
- YARN 與 MapReduce 1 的比較
- 在 YARN 中調度
- 調度程序選項
- 容量計劃程式配置
- 公平的調度程式配置
- 延遲調度
- 主導資源公平性
模組 9.MapReduce類型和格式
- MapReduce 類型
- 預設的MapReduce作業
- 定義輸入格式
- 管理輸入拆分和記錄
- 文本輸入和二進位輸入
- 管理多個輸入
- Database 輸入(和輸出)
- 輸出格式
- 文本輸出和二進位輸出
- 管理多個輸出
- Database 輸出
模組 10.使用MapReduce功能
- 使用計數器
- 讀取內置計數器
- 用戶定義的 Java 計數器
- 瞭解排序
- 使用分散式緩存
模組 11.集群維護和故障排除
- 管理 Hadoop 進程
- 使用 Init 文稿啟動和停止進程
- 手動啟動和停止進程
- HDFS 維護任務
- 添加數據節點
- 停用數據節點
- 使用 fsck 檢查文件系統完整性
- 平衡HDFS塊數據
- 處理故障磁碟
- MapReduce維護任務
- 終止MapReduce作業
- 終止MapReduce任務
- 管理資源耗盡
模組 12.監測
- 可用的 Hadoop 指標
- SNMP的作用
- 健康監測
- 主機級檢查
- HDFS 檢查
- MapReduce檢查
模組 13.備份和恢復
- 數據備份
- 分散式複製 (distcp)Distributed Copy (distcp)
- 並行數據引入
- Namenode 元數據
21 時間:
客戶評論 (1)
The fact that all the data and software was ready to use on an already prepared VM, provided by the trainer in external disks.