大數(shù)據(jù)技術(shù)基礎(chǔ)應(yīng)用教程

目錄
章大數(shù)據(jù)基礎(chǔ)1
1．1什么是大數(shù)據(jù)1
1．1．1大數(shù)據(jù)的發(fā)展歷程1
1．1．2大數(shù)據(jù)的定義2
1．2大數(shù)據(jù)的特征2
1．2．1Volume(數(shù)量)3
1．2．2Variety(種類)3
1．2．3Velocity(速度)3
1．2．4Value(價值)4
1．2．5Veracity(真實性)4
1．3大數(shù)據(jù)的關(guān)鍵技術(shù)4
1．3．1大數(shù)據(jù)采集技術(shù)4
1．3．2大數(shù)據(jù)預(yù)處理技術(shù)7
1．3．3大數(shù)據(jù)存儲及管理技術(shù)7
1．3．4大數(shù)據(jù)分析及挖掘技術(shù)8
1．3．5大數(shù)據(jù)展現(xiàn)和應(yīng)用技術(shù)9
1．4大數(shù)據(jù)與云計算9
1．4．1云計算定義9
1．4．2云計算的特征9
1．4．3云計算和大數(shù)據(jù)的關(guān)系10
1．4．4云計算對大數(shù)據(jù)的影響10
1．5大數(shù)據(jù)的應(yīng)用11
1．5．1電商行業(yè)11
1．5．2金融行業(yè)11
1．5．3醫(yī)療行業(yè)12
1．5．4農(nóng)牧漁行業(yè)12
1．5．5生物技術(shù)13
1．5．6智慧城市13
1．5．7電信行業(yè)13
1．5．8社交媒體分析14
本章小結(jié)14
實驗114
第2章大數(shù)據(jù)軟件架構(gòu)17
2．1Hadoop架構(gòu)17
2．1．1Hadoop簡介17
2．1．2Hadoop家族成員18
2．1．3Hadoop 2．0生態(tài)系統(tǒng)的集群架構(gòu)20
2．1．4Hadoop運行環(huán)境20
2．1．5Hadoop集群的安裝與部署22
2．2Spark架構(gòu)29
2．2．1Spark簡介29
2．2．2Spark集群模式31
2．2．3Spark核心組件33
2．2．4Spark運行環(huán)境35
2．2．5Spark的安裝35
2．3實時流處理架構(gòu)36
2．3．1實時計算的概念36
2．3．2實時計算的相關(guān)技術(shù)36
2．3．3Apache Storm38
2．3．4Apache Samza38
2．3．5Lambda架構(gòu)39
2．4框架的選擇41
2．4．1框架的種類41
2．4．2框架的選擇43
本章小結(jié)43
實驗244
第3章大數(shù)據(jù)存儲45
3．1大數(shù)據(jù)存儲概述45
3．1．1傳統(tǒng)存儲系統(tǒng)時代45
3．1．2大數(shù)據(jù)時代的新挑戰(zhàn)46
3．2大數(shù)據(jù)存儲方式47
3．2．1分布式存儲47
3．2．2云存儲48
3．2．3大數(shù)據(jù)存儲的其他需求49
3．3大數(shù)據(jù)的存儲技術(shù)50
3．3．1分布式文件存儲50
3．3．2NoSQL數(shù)據(jù)庫53
3．3．3NewSQL數(shù)據(jù)庫56
3．3．4云存儲技術(shù)57
3．4大數(shù)據(jù)存儲的可靠性59
3．4．1大數(shù)據(jù)可靠性的風(fēng)險60
3．4．2提高大數(shù)據(jù)可靠性的方法60
本章小結(jié)61
實驗361
第4章大數(shù)據(jù)計算63
4．1大數(shù)據(jù)計算基本框架63
4．2批處理計算64
4．2．1Hadoop64
4．2．2DAG模型66
4．3流計算69
4．3．1流計算概述69
4．3．2Storm及Trident70
4．4交互式分析計算72
4．4．1概述72
4．4．2Hive73
4．4．3SQL引擎Calcite74
本章小結(jié)75
實驗475
第5章大數(shù)據(jù)分析77
5．1大數(shù)據(jù)分析概述77
5．2大數(shù)據(jù)分析基礎(chǔ)78
5．2．1大數(shù)據(jù)分析基本分類78
5．2．2大數(shù)據(jù)分析步驟79
5．2．3異步分析80
5．3大數(shù)據(jù)預(yù)測分析80
5．3．1什么是預(yù)測分析80
5．3．2預(yù)測分析的作用80
5．3．3數(shù)據(jù)具有內(nèi)在預(yù)測性82
5．4大數(shù)據(jù)分析應(yīng)用83
5．4．1大數(shù)據(jù)分析的主要應(yīng)用行業(yè)83
5．4．2大數(shù)據(jù)分析應(yīng)用應(yīng)注意的問題85
5．5大數(shù)據(jù)分析平臺與工具87
5．5．1HPCC系統(tǒng)87
5．5．2Apache Drill91
5．5．3RapidMiner93
本章小結(jié)94
實驗594
第6章大數(shù)據(jù)可視化96
6．1大數(shù)據(jù)可視化概述96
6．1．1大數(shù)據(jù)可視化的概念96
6．1．2大數(shù)據(jù)可視化的基本思想和手段97
6．1．3大數(shù)據(jù)可視化的基本模型97
6．1．4可視化設(shè)計組件98
6．2科學(xué)可視化105
6．2．1科學(xué)可視化的概念105
6．2．2科學(xué)可視化方面的主題105
6．2．3科學(xué)可視化的應(yīng)用106
6．3信息可視化107
6．3．1信息可視化的概念107
6．3．2信息可視化的應(yīng)用108
6．3．3信息實時可視化108
6．3．4信息可視化與科學(xué)可視化的關(guān)系109
6．4數(shù)據(jù)可視化的應(yīng)用109
6．4．1數(shù)據(jù)可視化的運用109
6．4．2信息可視化的挑戰(zhàn)114
6．5大數(shù)據(jù)可視化分析116
6．5．1數(shù)據(jù)類型116
6．5．2基本任務(wù)117
6．5．3大數(shù)據(jù)可視化分析方法118
6．5．4大數(shù)據(jù)可視化技術(shù)120
6．5．5大數(shù)據(jù)可視化分析工具127
本章小結(jié)130
實驗6130
第7章大數(shù)據(jù)安全135
7．1大數(shù)據(jù)安全的定義136
7．1．1大數(shù)據(jù)安全的定義136
7．1．2大數(shù)據(jù)安全面臨的挑戰(zhàn)136
7．2安全措施的實施138
7．2．1國外數(shù)據(jù)安全的法律法規(guī)138
7．2．2我國數(shù)據(jù)安全的法律法規(guī)139
7．2．3主要標(biāo)準(zhǔn)化組織的大數(shù)據(jù)安全工作情況140
7．2．4大數(shù)據(jù)安全標(biāo)準(zhǔn)化規(guī)范143
7．2．5大數(shù)據(jù)安全標(biāo)準(zhǔn)體系框架144
7．2．6大數(shù)據(jù)安全策略145
7．3大數(shù)據(jù)安全保障技術(shù)147
7．3．1數(shù)據(jù)溯源技術(shù)147
7．3．2數(shù)字水印技術(shù)149
7．3．3身份認(rèn)證技術(shù)152
7．3．4數(shù)據(jù)發(fā)布匿名保護(hù)技術(shù)157
7．3．5社交網(wǎng)絡(luò)匿名保護(hù)技術(shù)159
7．4云安全162
7．4．1云安全的概念162
7．4．2云安全的應(yīng)對方式163
7．4．3云安全技術(shù)164
本章小結(jié)169
實驗7169
第8章大數(shù)據(jù)機器學(xué)習(xí)172
8．1大數(shù)據(jù)機器學(xué)習(xí)概述172
8．1．1人工智能概述172
8．1．2機器學(xué)習(xí)概述174
8．2機器學(xué)習(xí)類型176
8．2．1基于學(xué)習(xí)策略的分類176
8．2．2基于獲取知識的表示形式分類177
8．2．3按應(yīng)用領(lǐng)域分類178
8．2．4按學(xué)習(xí)形式分類178
8．3大數(shù)據(jù)機器學(xué)習(xí)算法179
8．3．1大數(shù)據(jù)分治策略與抽樣179
8．3．2大數(shù)據(jù)特征選擇180
8．3．3大數(shù)據(jù)分類183
8．3．4大數(shù)據(jù)聚類189
8．3．5大數(shù)據(jù)關(guān)聯(lián)分析195
8．3．6大數(shù)據(jù)并行計算197
8．4大數(shù)據(jù)機器學(xué)習(xí)的應(yīng)用199
8．4．1機器學(xué)習(xí)在金融領(lǐng)域的應(yīng)用200
8．4．2機器學(xué)習(xí)在生物信息學(xué)中的應(yīng)用202
8．4．3機器學(xué)習(xí)在電商文本大數(shù)據(jù)挖掘中的應(yīng)用203
本章小結(jié)204
實驗8 205