大數(shù)據(jù)分析理論與技術

第1章  大數(shù)據(jù)分析基礎認知 001
1.1　引言 001
1.2　知識基礎 001
1.2.1　基本概念 001
1.2.2　數(shù)據(jù)科學與其他學科的關系 004
1.3　歷史現(xiàn)狀 006
1.3.1　發(fā)展歷史 006
1.3.2　研究現(xiàn)狀 008
1.3.3　中國大數(shù)據(jù)研究與發(fā)展戰(zhàn)略 010
1.4　主要應用 011
1.4.1　互聯(lián)網(wǎng)行業(yè)主要應用 011
1.4.2　醫(yī)療行業(yè)主要應用 012
1.4.3　金融行業(yè)主要應用 014
1.4.4　交通行業(yè)主要應用 014
1.4.5　教育行業(yè)主要應用 014
1.5　存在問題 015
1.5.1　數(shù)據(jù)存儲 015
1.5.2　信息安全 015
1.5.3　數(shù)據(jù)共享 017
1.6　發(fā)展趨勢 018
1.6.1　大數(shù)據(jù)技術發(fā)展趨勢 018
1.6.2　大數(shù)據(jù)應用發(fā)展趨勢 019
1.7　小結 021
1.8　習題 022
第2章  大數(shù)據(jù)分析核心架構 023
2.1　引言 023
2.2　數(shù)據(jù)分析架構認知基礎 023
2.2.1　軟件架構 023
2.2.2　數(shù)據(jù)庫及管理系統(tǒng) 026
2.2.3　并行計算 028
2.2.4　分布式計算 029
2.2.5　云計算 032
2.3　分析架構Hadoop 034
2.3.1　Hadoop基礎知識 034
2.3.2　Hadoop系統(tǒng)架構 035
2.3.3　Hadoop典型案例 040
2.3.4　Hadoop編程接口 042
2.4　分布式文件系統(tǒng)HDFS 046
2.4.1　HDFS基礎知識 046
2.4.2　HDFS系統(tǒng)架構 047
2.4.3　HDFS主要特征 049
2.4.4　HDFS編程接口 051
2.5　分析架構Spark 055
2.5.1　Spark基礎知識 055
2.5.2　Spark系統(tǒng)架構 056
2.5.3　Spark主要特征 059
2.5.4　Spark典型案例 061
2.5.5　Spark編程接口 063
2.6　分布式數(shù)據(jù)庫Hbase 066
2.6.1　Hbase基礎知識 066
2.6.2　Hbase系統(tǒng)架構 067
2.6.3　Hbase主要特征 069
2.6.4　Hbase編程接口 071
2.7　數(shù)據(jù)倉庫Hive 073
2.7.1　Hive基礎知識 073
2.7.2　Hive系統(tǒng)架構 074
2.7.3　Hive主要特征 076
2.7.4　Hive編程接口 077
2.8　小結 079
2.9　習題 080
第3章  大數(shù)據(jù)分析計算模式 081
3.1　引言 081
3.2　數(shù)據(jù)分析挖掘認知基礎 081
3.2.1　模式識別認知基礎 081
3.2.2　數(shù)據(jù)挖掘認知基礎 084
3.3　靜態(tài)批處理MapReduce 087
3.3.1　基礎知識 087
3.3.2　編程模型 088
3.3.3　體系結構 090
3.3.4　工作流程 092
3.3.5　容錯機制 095
3.3.6　編程實例 095
3.3.7　典型案例 099
3.4　實時流計算Storm 100
3.4.1　基礎知識 100
3.4.2　編程模型 101
3.4.3　體系結構 104
3.4.4　工作流程 104
3.4.5　容錯機制 105
3.4.6　編程實例 106
3.4.7　典型案例 107
3.5　圖計算Pregel 108
3.5.1　基礎知識 108
3.5.2　編程模型 109
3.5.3　體系結構 111
3.5.4　工作流程 112
3.5.5　容錯機制 113
3.5.6　編程實例 114
3.5.7　典型案例 116
3.6　數(shù)據(jù)可視化 118
3.6.1　可視化簡介 118
3.6.2　可視化方法 119
3.6.3　可視化技術 122
3.6.4　可視化工具 124
3.6.5　可視化案例 125
3.6.6　可視化發(fā)展趨勢 126
3.7　小結 127
3.8　習題 127
第4章  大數(shù)據(jù)與網(wǎng)絡空間安全 129
4.1　引言 129
4.2　網(wǎng)絡空間安全認知基礎 129
4.2.1　信息網(wǎng)絡知識基礎 130
4.2.2　信息安全對抗的基本概念 132
4.2.3　信息安全對抗基礎理論概述 134
4.3　網(wǎng)絡空間安全大數(shù)據(jù)基礎資源 137
4.3.1　用戶數(shù)據(jù) 137
4.3.2　行業(yè)數(shù)據(jù) 137
4.3.3　流量日志數(shù)據(jù) 139
4.3.4　網(wǎng)絡輿情數(shù)據(jù) 139
4.3.5　應用數(shù)據(jù)集 139
4.4　網(wǎng)絡空間大數(shù)據(jù)安全分析 141
4.4.1　安全事件關聯(lián)分析 141
4.4.2　網(wǎng)絡異常檢測分析 143
4.4.3　數(shù)據(jù)內容安全分析 146
4.4.4　安全態(tài)勢感知分析 148
4.4.5　安全分析應用案例 152
4.5　網(wǎng)絡空間大數(shù)據(jù)安全防護 156
4.5.1　大數(shù)據(jù)的威脅與攻擊 156
4.5.2　大數(shù)據(jù)安全防護技術 160
4.5.3　大數(shù)據(jù)安全建設案例 166
4.6　小結 171
4.7　習題 171
第5章  大數(shù)據(jù)與自然語言處理 173
5.1　引言 173
5.2　自然語言處理認知基礎 174
5.2.1　研究簡史 174
5.2.2　基本概念 175
5.2.3　基本方法 175
5.2.4　面臨困難 176
5.3　自然語言處理大數(shù)據(jù)基礎資源 176
5.3.1　基礎語料庫 176
5.3.2　語言知識庫 180
5.3.3　知識圖譜 182
5.4　自然語言處理大數(shù)據(jù)分析技術 184
5.4.1　實體關系抽取 185
5.4.2　命名實體識別 190
5.4.3　情感分類 194
5.4.4　文本摘要 198
5.4.5　機器翻譯 204
5.4.6　自動問答 206
5.5　自然語言處理大數(shù)據(jù)分析應用案例 210
5.5.1　IBM沃森大型問答系統(tǒng) 210
5.5.2　百度機器翻譯系統(tǒng) 214
5.5.3　微軟機器人小冰 216
5.5.4　BFS輿情分析系統(tǒng) 219
5.6　小結 227
5.7　習題 227
第6章  大數(shù)據(jù)與醫(yī)學信息處理 229
6.1　引言 229
6.2　醫(yī)學信息處理基礎認知 229
6.2.1　基本概念 229
6.2.2　研究簡史 230
6.2.3　基本方法 232
6.2.4　面臨困難 233
6.3　醫(yī)學信息處理大數(shù)據(jù)基礎資源 234
6.3.1　基因數(shù)據(jù)資源 235
6.3.2　醫(yī)學圖像資源 236
6.3.3　電子健康記錄 238
6.3.4　醫(yī)學語音記錄 240
6.4　醫(yī)學信息處理大數(shù)據(jù)分析技術 241
6.4.1　基因序列分析 241
6.4.2　醫(yī)學圖像處理 245
6.4.3　電子病歷分析 249
6.4.4　醫(yī)學語音處理 252
6.5　醫(yī)學信息處理大數(shù)據(jù)分析應用案例 254
6.5.1　精準醫(yī)療 255
6.5.2　糖尿病健康促進系統(tǒng) 259
6.5.3　老年健康綜合評估系統(tǒng) 267
6.5.4　遠程醫(yī)療 271
6.6　小結 273
6.7　習題 274
參考文獻 275