Hadoop技術(shù)詳解

第1章 簡介
第2章 HDFS
2.1 目標和動機
2.2 設(shè)計
2.3 守護進程
2.4 讀寫數(shù)據(jù)
2.4.1 數(shù)據(jù)讀取流程
2.4.2 數(shù)據(jù)寫操作流程
2.5 管理文件系統(tǒng)元數(shù)據(jù)
2.6 NameNode的高可用性
2.7 NameNode聯(lián)盟
2.8 訪問與集成
2.8.1 命令行工具
2.8.2 用戶空間文件系統(tǒng)（FUSE）
2.8.3 表示狀態(tài)傳輸（REST）的支持
第3章 MapReduce
3.1 MapReduce的若干階段
3.2 Hadoop MapReduce簡介
3.2.1 后臺程序
3.2.2 出錯處理
3.3 YARN
第4章 規(guī)劃一個Hadoop集群
4.1 挑選Hadoop的發(fā)行版本
4.1.1 Apache Hadoop
4.1.2 Cloudera的Apache Hadoop發(fā)行版本
4.1.3 版本和功能
4.1.4 我應該使用哪個版本
4.2 硬件選型
4.2.1 主節(jié)點硬件的選擇
4.2.2 工作節(jié)點的硬件選擇
4.2.3 集群的大小
4.2.4 刀片服務器、存儲區(qū)域網(wǎng)絡（SAN）和虛擬化
4.3 操作系統(tǒng)的選擇和準備
4.3.1 部署規(guī)劃
4.3.2 軟件
4.3.3 主機名、DNS和標識
4.3.4 用戶、組和特權(quán)
4.4 內(nèi)核調(diào)整
4.4.1 vm.swappiness
4.4.2 vm.overcommit_memory
4.5 磁盤配置
4.5.1 選擇文件系統(tǒng)
4.5.2 掛載選項
4.6 網(wǎng)絡設(shè)計
4.6.1 Hadoop中的網(wǎng)絡使用：回顧
4.6.2 1 Gb與10 Gb網(wǎng)絡
4.6.3 典型的網(wǎng)絡拓撲
第5章 安裝和配置
5.1 安裝Hadoop
5.1.1 Apache Hadoop
5.1.2 CDH
5.2 配置概述
5.3 環(huán)境變量和Shell腳本
5.4 日志配置
5.5 HDFS
5.5.1 識別和定位
5.5.2 優(yōu)化與調(diào)整
5.5.3 格式化NameNode
5.5.4 創(chuàng)建/tmp目錄
5.6 NameNode的高可靠性
5.6.1 隔離（Fencing）選項
5.6.2 基本配置
5.6.3 自動失效備援配置
5.6.4 格式化和引導NameNode啟動
5.7 NameNode聯(lián)盟（Federation）
5.8 MapReduce
5.8.1 識別和定位
5.8.2 優(yōu)化和調(diào)整
5.9 機架拓撲
5.10 安全
第6章 用戶標識、身份驗證和授權(quán)
6.1 用戶標識
6.2 Kerberos和Hadoop
6.2.1 Kerberos
6.2.2 Hadoop上的Kerberos支持
6.3 授權(quán)
6.3.1 HDFS
6.3.2 MapReduce
6.3.3 其他工具和系統(tǒng)
6.4 集成試試
第7章 資源管理
7.1 何謂資源管理
7.2 HDFS配額
7.3 MapReduce 調(diào)度器
7.3.1 先進先出（FIFO）調(diào)度器
7.3.2 公平調(diào)度器
7.3.3 計算能力調(diào)度器（Capacity Scheduler）
7.3.4 未來發(fā)展
第8章 集群維護
8.1 Hadoop流程管理
8.1.1 用初始化腳本管理進程
8.1.2 手動管理進程
8.2 HDFS維護任務
8.2.1 添加一個DataNode
8.2.2 卸載DataNode
8.2.3 用fsck來檢查文件系統(tǒng)的一致性
8.2.4 HDFS塊數(shù)據(jù)均衡
8.2.5 處理壞磁盤
8.3 MapReduce維護任務
8.3.1 添加tasktracker
8.3.2 卸載tasktracker
8.3.3 終結(jié)MapReduce 作業(yè)
8.3.4 終結(jié)MapReduce任務
8.3.5 處理列入黑名單的tasktracker
第9章 故障分析與排查
9.1 鑒別診斷（Differential Diagnosis）
9.2 故障和問題
9.2.1 人類（自己）
9.2.2 配置錯誤
9.2.3 硬件故障
9.2.4 資源枯竭
9.2.5 主機標識和命名
9.2.6 網(wǎng)絡分區(qū)
9.3 “計算機插好了么？”
9.4 治療和護理
9.5 實戰(zhàn)案例
9.5.1 神秘的瓶頸
9.5.2 127.0.0.1這個地址不存在
第10章 監(jiān)控
10.1 概覽
10.2 Hadoop度量（Metrics）
10.2.1 Apache Hadoop 0.20.0和CDH3 （metrics1）
10.2.2 Apache Hadoop 0.20.203及之后的版本、CDH4（metrics2）
10.2.3 SNMP
10.3 健康監(jiān)控
10.3.1 主機級別的檢查
10.3.2 所有Hadoop進程
10.3.3 HDFS檢查
10.3.4 MapReduce檢查
第11章 備份與恢復
11.1 數(shù)據(jù)備份
11.1.1 分布式拷貝（distcp）
11.1.2 并行提取數(shù)據(jù)
11.2 NameNode元數(shù)據(jù)
附錄 棄用的配置屬性