大數(shù)據(jù)技術導論（第2版）

第2版前言
第1版前言

第1章 緒論1
1.1 認識大數(shù)據(jù)1
1.1.1 大數(shù)據(jù)產生的歷史必然1
1.1.2 大數(shù)據(jù)概念和特征2
1.1.3 大數(shù)據(jù)生命周期4
1.1.4 大數(shù)據(jù)、物聯(lián)網(wǎng)與云計算之間的
關系6
1.2 大數(shù)據(jù)時代帶來的變化6
1.2.1 決策方式6
1.2.2 計算方式6
1.2.3 思維方式7
1.3 大數(shù)據(jù)價值8
1.3.1 增加額外收入9
1.3.2 減少支出9
1.3.3 降低風險9
1.3.4 參照系9
1.4 大數(shù)據(jù)產業(yè)及崗位10
1.4.1 大數(shù)據(jù)產業(yè)鏈條10
1.4.2 大數(shù)據(jù)產業(yè)分析11
1.4.3 大數(shù)據(jù)崗位12
1.5 虛擬機13
1.5.1 安裝虛擬機13
1.5.2 安裝CentOS15
1.5.3 安裝虛擬機常見問題20
1.5.4 大數(shù)據(jù)實驗平臺概述21
1.6 Linux操作系統(tǒng)22
1.6.1 Linux版本22
1.6.2 Linux 系統(tǒng)目錄結構23
1.6.3 文本編輯器vi24
1.6.4 文件權限解讀24
1.6.5 Linux系統(tǒng)常用命令25
習題127
實驗：Linux實驗29
第2章 大數(shù)據(jù)生態(tài)30
2.1 認識Hadoop30
2.2 部署Hadoop30
2.2.1 Hadoop安裝模式30
2.2.2 單節(jié)點偽分布模式安裝31
2.2.3 多節(jié)點偽分布模式安裝32
2.3 HDFS38
2.3.1 HDFS體系結構39
2.3.2 HDFS存儲原理41
2.3.3 HDFS實戰(zhàn)41
2.4 MapReduce44
2.4.1 MapReduce邏輯結構44
2.4.2 MapReduce實戰(zhàn)45
2.5 Zookeeper47
2.5.1 Zookeeper集群47
2.5.2 部署Zookeeper47
習題249
實驗：HDFS操作52
第3章 大數(shù)據(jù)采集與預處理53
3.1 數(shù)據(jù)53
3.1.1 數(shù)據(jù)是什么53
3.1.2 數(shù)據(jù)分類54
3.1.3 度量和維度55
3.2 數(shù)據(jù)采集56
3.2.1 數(shù)據(jù)采集概述56
3.2.2 數(shù)據(jù)采集工具56
3.3 日志采集組件Flume60
3.3.1 Flume結構60
3.3.2 Flume部署62
3.3.3 Flume實戰(zhàn)63
3.4 數(shù)據(jù)清洗68
3.4.1 缺失值處理68
3.4.2 異常值處理69
3.4.3 數(shù)據(jù)清洗實戰(zhàn)71
3.5 數(shù)據(jù)變換74
3.5.1 規(guī)范化74
3.5.2 數(shù)據(jù)透視表76
3.5.3 列聯(lián)表78
3.5.4 聚合表78
3.5.5 特征編碼79
習題379
第4章 大數(shù)據(jù)管理82
4.1 數(shù)據(jù)管理概述82
4.2 大數(shù)據(jù)管理NoSQL83
4.2.1 NoSQL概述83
4.2.2 NoSQL分類及主要產品83
4.3 列式數(shù)據(jù)庫HBase85
4.3.1 HBase模型85
4.3.2 HBase系統(tǒng)架構85
4.3.3 HBase應用場景88
4.4 HBase實戰(zhàn)89
4.4.1 HBase部署89
4.4.2 HBase Shell基本操作91
4.4.3 HBase Shell應用案例94
習題496
實驗：HBase基本操作97
第5章 數(shù)據(jù)可視化98
5.1 數(shù)據(jù)可視化概述98
5.2 常用圖形99
5.3 可視化設計\\105
5.3.1 數(shù)據(jù)可視化圖形選擇建議106
5.3.2 用數(shù)據(jù)講故事106
5.4 數(shù)據(jù)可視化工具111
5.4.1 FineReport111
5.4.2 ECharts113
5.4.3 Tableau114
習題5115
第6章 大數(shù)據(jù)分析117
6.1 大數(shù)據(jù)分析概述117
6.1.1 數(shù)據(jù)分析概念117
6.1.2 數(shù)據(jù)分析流程118
6.1.3 數(shù)據(jù)分析師的基本技能和素養(yǎng)119
6.2 業(yè)務理解124
6.2.1 業(yè)務理解概述124
6.2.2 數(shù)據(jù)業(yè)務化125
6.3 數(shù)據(jù)認知126
6.3.1 描述性分析126
6.3.2 對比分析126
6.3.3 細分分析128
6.3.4 交叉分析129
6.3.5 相關分析129
6.4 分析指標設計131
6.4.1 設計指標技巧131
6.4.2 如何設計指標131
6.5 數(shù)據(jù)建模133
6.6 內存計算引擎Spark134
6.6.1 Spark概述134
6.6.2 Spark結構135
6.6.3 Spark部署137
6.6.4 Spark實戰(zhàn)140
6.7 數(shù)據(jù)倉庫Hive143
6.7.1 數(shù)據(jù)倉庫概述143
6.7.2 Hive設計特點143
6.7.3 Hive系統(tǒng)架構143
6.7.4 Hive部署144
6.7.5 Hive實戰(zhàn)146
習題6149
實驗：Hive實驗151
第7章 大數(shù)據(jù)應用153
7.1 零售業(yè)大數(shù)據(jù)153
7.1.1 市場營銷153
7.1.2 商品管理156
7.1.3 運營管理157
7.1.4 供應鏈管理158
7.1.5 商業(yè)模式159
7.2 交通大數(shù)據(jù)159
7.2.1 道路運輸安全事故預警160
7.2.2 城市道路交通信號燈智能調時160
7.2.3 繪制實時路況信息圖161
7.2.4 停車管理161
7.3 醫(yī)療大數(shù)據(jù)162
7.3.1 大數(shù)據(jù)電子病歷162
7.3.2 大數(shù)據(jù)與流行病防控163
7.3.3 基因測序—精準治癌正在成為
現(xiàn)實164
7.4 農業(yè)大數(shù)據(jù)164
7.4.1 農業(yè)大數(shù)據(jù)構成165
7.4.2 農業(yè)大數(shù)據(jù)應用167
7.4.3 智慧畜牧業(yè)170
7.4.4 水產養(yǎng)殖環(huán)境監(jiān)測172
7.4.5 食品溯源172
7.5 環(huán)保大數(shù)據(jù)173
7.5.1 多維度的環(huán)保數(shù)據(jù)整合173
7.5.2 環(huán)保數(shù)據(jù)服務接口174
7.5.3 環(huán)保數(shù)據(jù)可視化175
7.6 教育大數(shù)據(jù)175
7.6.1 教育大數(shù)據(jù)特點175
7.6.2 教育大數(shù)據(jù)作用176
7.6.3 大數(shù)據(jù)應用于教育行業(yè)十大
案例177
7.6.4 教育大數(shù)據(jù)技術179
7.7 政府大數(shù)據(jù)180
7.7.1 政府主要部門的數(shù)據(jù)內容及
數(shù)據(jù)應用開發(fā)價值180
7.7.2 政府大數(shù)據(jù)應用案例181
7.8 工業(yè)大數(shù)據(jù)184
7.8.1 工業(yè)大數(shù)據(jù)概述184
7.8.2 工業(yè)大數(shù)據(jù)架構185
7.8.3 工業(yè)大數(shù)據(jù)的價值創(chuàng)造185
7.8.4 工業(yè)大數(shù)據(jù)應用案例186
習題7187
第8章 大數(shù)據(jù)安全188
8.1 大數(shù)據(jù)安全的重要意義188
8.2 大數(shù)據(jù)面臨的挑戰(zhàn)189
8.3 大數(shù)據(jù)安全技術190
8.4 大數(shù)據(jù)安全保障體系194
習題8195
附錄196
附錄A 大數(shù)據(jù)運維“1+X”
考證樣卷（初級）196
附錄B 數(shù)據(jù)分析“1+X”
考證樣