大數(shù)據(jù)開發(fā)與應(yīng)用

第1章 概論
1.1 大數(shù)據(jù)技術(shù)簡(jiǎn)介
1.1.1 大數(shù)據(jù)技術(shù)的起源
1.1.2 大數(shù)據(jù)應(yīng)用領(lǐng)域
1.1.3 大數(shù)據(jù)基礎(chǔ)設(shè)施
1.2 大數(shù)據(jù)技術(shù)與大數(shù)據(jù)開發(fā)
1.2.1 什么是大數(shù)據(jù)開發(fā)
1.2.2 大數(shù)據(jù)開發(fā)的作用
1.2.3 大數(shù)據(jù)開發(fā)技術(shù)框架
1.2.4 大數(shù)據(jù)開發(fā)與大數(shù)據(jù)分析的異同
1.3 本書中你將學(xué)習(xí)到的內(nèi)容
本章小結(jié)
本章練習(xí)
第2章 Hadoop集群環(huán)境搭建
2.1 Hadoop簡(jiǎn)介
2.1.1 Hadoop的優(yōu)點(diǎn)
2.1.2 Hadoop生態(tài)系統(tǒng)
2.2 Hadoop集群環(huán)境搭建
2.2.1 修改主機(jī)名
2.2.2 修改主機(jī)IP映射
2.2.3 配置SSH無密碼髓錄
2.2.4 安裝JDK
2.2.5 安裝Hadoop
本章小結(jié)
本章練習(xí)
第3章 HDFS
3.1 HDFS的概念
3.2 ItDFS的特點(diǎn)
3.3 HDFS的原理
3.3.1 HDFS體系結(jié)構(gòu)
3.3.2 HDFS主要組件
3.4 HDFS中的文件讀／寫
3.4.1 HDFS讀數(shù)據(jù)
3.4.2 HDFS寫數(shù)據(jù)
3.5 HDFS的安全性措施
3.6 HDFS命令行操作
3.7 常用HDFS.Java API詳解
3.7.1 新建Hadoop項(xiàng)目
3.7.2 讀取數(shù)據(jù)
3.7.3創(chuàng)建目錄
3.7.4 創(chuàng)建文件
3.7.5 刪除文件
3.7.6 遍歷文件和目錄
3.7.7 復(fù)制上傳本地文件
3.7.8 復(fù)制下載文件
本章小結(jié)
本章練習(xí)
第4章 MapReduce
4.1 MapReduce概述
4.2 MapReduce技術(shù)特征
4.3 MapReduce lT作流程
4.3.1 MapReduce工作原理
4.3.2 MapReduce任務(wù)流程
4.4 MapReduce lT作組件
4.5 MapReduce錯(cuò)誤處理機(jī)制
4.5.1 硬件故障處理
4.5.2 任務(wù)失敗處理
4.6 案例分析一：?jiǎn)卧~計(jì)數(shù)
4.6.1 設(shè)計(jì)思路
4.6.2 程序源代碼
4.6.3 程序解讀
4.6 -4程序運(yùn)行
4.7 案例分析二：數(shù)據(jù)去重
4.7.1 設(shè)汁思路
4.7.2 程序源代碼
4.7.3 程序解讀
4.7.4 程序運(yùn)行
本章小結(jié)
本章練習(xí)
第5章 ZOOKeopor
5.1 ZooKeeper·簡(jiǎn)介
5.1.1 主要優(yōu)勢(shì)
5.1.2 總體架構(gòu)
5.1.3應(yīng)用場(chǎng)景
5.2 ZooKeeper-的特性
5.2.1 數(shù)據(jù)模型
5.2.2 節(jié)點(diǎn)類型
5.2 .3 Watcher機(jī)制
5.2.4 分布式鎖
5.2.5 權(quán)限控制
5.3 ZooKeeper·問題與應(yīng)對(duì)
5.4 ZooKeepet·安裝和配置
5.4.1 單機(jī)模式
5.4.2 集群模式
5.4.3 偽分布模式
5.5 ZooKeeper·命令行工具
5.6 ZooKeeper'Java API
5.6.1 常用接口
5.6.2 創(chuàng)建節(jié)點(diǎn)
5.6.3 添加數(shù)據(jù)
5.6.4 獲取數(shù)據(jù)
5.6.5 刪除節(jié)點(diǎn)
本章小結(jié)
本章練習(xí)
第6章 HBase
6.1 HBase簡(jiǎn)介
6.2 HBase與RDBMS
6.3 HBase數(shù)據(jù)結(jié)構(gòu)
6.3.1 相關(guān)概念
6.3.2 存儲(chǔ)特點(diǎn)
6.4 HBase組成架構(gòu)
6.4.1 HMaster
6.4.2 HRegionServer
6.4.3 HRegion
6.4.4 ZooKeeper
6.4.5 HFile
6.4.6 HLog
6.5 HBase表結(jié)構(gòu)
6.6 HBase集群安裝
6.6.1 單機(jī)模式
6.6.2 偽分布模式
6.6.3 全分布模式
6.7 HBase Shell
6.8 HBase Java API的基本操作
6.8.1 創(chuàng)建Java工程
6.8.2 創(chuàng)建表
6.8 .3添加數(shù)據(jù)
6.8.4 查詢數(shù)據(jù)
6.8.5 刪除數(shù)據(jù)
6.9 HBase過濾器
6.9.1 過濾器簡(jiǎn)介
6.9.2 行鍵過濾器
6.9.3 列族過濾器
6.9 .4列過濾器
6.9.5 值過濾器
6.9.6 單列值過濾器
本章小結(jié)
本章練習(xí)
第7章 Hive
7.1 Hive簡(jiǎn)介
7.1.1 系統(tǒng)結(jié)構(gòu)和工作方式
7.1 .2 Hive數(shù)據(jù)模型
7.1 .3 Hive內(nèi)置服務(wù)
7.2 Hive環(huán)境搭建
7.3 Hive命令行
7.3.1 Hive CLI交互式命令行
7.3.2 hive命令
7.4 HiveQL詳解
7.4.1 DDL操作
7.4.2 DML.操作
7.5 Hive JDBC
7.5.1 配置和啟動(dòng)HiveServer2
7.5.2 JDBC訪問Hive
7.5.3 JDBC示例代碼
本章小結(jié)
本章練習(xí)
第8章 storm
第9章 Sqoop
第10章 Kafka
第11章 Spark
第12章 EIasticSearch