大數(shù)據(jù)管理：數(shù)據(jù)集成的技術、方法與最佳實踐

目　　錄
譯者序
序言
前言
第一部分　數(shù)據(jù)集成導論
第1章　數(shù)據(jù)集成的重要性 / 2
1.1　數(shù)據(jù)接口的天然復雜性 / 2
1.2　購買供應商應用包的數(shù)量日益增加 / 3
1.3　大數(shù)據(jù)和虛擬化的催化劑 / 3
第2章　什么是數(shù)據(jù)集成 / 5
2.1　運動中的數(shù)據(jù) / 5
2.2　集成為通用格式—數(shù)據(jù)轉換 / 5
2.3　數(shù)據(jù)從一個系統(tǒng)遷移到另一個系統(tǒng) / 6
2.4　在組織內部移動數(shù)據(jù) / 6
2.5　從非結構化數(shù)據(jù)中抽取信息 / 8
2.6　將處理移動到數(shù)據(jù)端 / 9
第3章　數(shù)據(jù)集成的類型和復雜性 / 10
3.1　管理運動中的數(shù)據(jù)和持久化數(shù)據(jù)的異同點 / 10
3.2　批處理數(shù)據(jù)集成 / 10
3.3　實時數(shù)據(jù)集成 / 11
3.4　大數(shù)據(jù)集成 / 11
3.5　數(shù)據(jù)虛擬化 / 12
第4章　數(shù)據(jù)集成開發(fā)過程 / 13
4.1　數(shù)據(jù)集成開發(fā)生命周期 / 13
4.2　包含業(yè)務知識和專家經(jīng)驗 / 14
第二部分　批處理數(shù)據(jù)集成
第5章　批處理數(shù)據(jù)集成簡介 / 18
5.1　什么是批處理數(shù)據(jù)集成 / 18
5.2　批處理數(shù)據(jù)集成生命周期 / 19
第6章　抽取、轉換和加載 / 20
6.1　什么是ETL / 20
6.2　概要分析 / 20
6.3　抽取 / 21
6.4　暫存 / 22
6.5　訪問層次 / 22
6.6　轉換 / 23
6.6.1　簡單映射 / 23
6.6.2　查找表 / 24
6.6.3　聚合和規(guī)范化 / 24
6.6.4　計算 / 24
6.7　加載 / 24
第7章　數(shù)據(jù)倉庫 / 26
7.1　什么是數(shù)據(jù)倉庫 / 26
7.2　企業(yè)數(shù)據(jù)倉庫架構中的層次 / 26
7.2.1　操作型應用層 / 26
7.2.2　外部數(shù)據(jù) / 27
7.2.3　數(shù)據(jù)倉庫中的數(shù)據(jù)暫存區(qū) / 27
7.2.4　數(shù)據(jù)倉庫數(shù)據(jù)結構 / 28
7.2.5　從數(shù)據(jù)倉庫到數(shù)據(jù)集市或者商務智能層的暫存 / 28
7.2.6　商務智能層 / 28
7.3　加載到數(shù)據(jù)倉庫中的數(shù)據(jù)類型 / 29
7.3.1　數(shù)據(jù)倉庫中的主數(shù)據(jù) / 29
7.3.2　數(shù)據(jù)倉庫中的余額和快照數(shù)據(jù) / 30
7.3.3　數(shù)據(jù)倉庫中的事務型數(shù)據(jù) / 31
7.3.4　事件 / 31
7.3.5　調整 / 31
第8章　數(shù)據(jù)轉換 / 39
8.1　什么是數(shù)據(jù)轉換 / 39
8.2　數(shù)據(jù)轉換生命周期 / 39
8.3　數(shù)據(jù)轉換分析 / 39
8.4　數(shù)據(jù)加載最佳實踐 / 40
8.5　提高源數(shù)據(jù)質量 / 40
8.6　映射到目標系統(tǒng) / 41
8.7　配置數(shù)據(jù) / 41
8.8　測試和依賴 / 42
8.9　私有數(shù)據(jù) / 42
8.10　校對 / 43
8.11　環(huán)境 / 43
第9章　數(shù)據(jù)歸檔 / 47
9.1　什么是數(shù)據(jù)歸檔 / 47
9.2　歸檔數(shù)據(jù)選擇 / 47
9.3　已歸檔數(shù)據(jù)可以恢復嗎 / 48
9.4　歸檔環(huán)境下數(shù)據(jù)結構的確認 / 48
9.5　靈活的數(shù)據(jù)結構 / 49
第10章　批處理數(shù)據(jù)集成架構和元數(shù)據(jù) / 54
10.1　什么是批處理數(shù)據(jù)集成架構 / 54
10.2　概要分析工具 / 55
10.3　建模工具 / 55
10.4　元數(shù)據(jù)存儲庫 / 55
10.5　數(shù)據(jù)移動 / 56
10.6　轉換 / 56
10.7　調度 / 57
第三部分　實時數(shù)據(jù)集成
第11章　實時數(shù)據(jù)集成簡介 / 64
11.1　為什么需要實時數(shù)據(jù)集成 / 64
11.2　為什么需要兩組技術 / 64
第12章　數(shù)據(jù)集成模式 / 66
12.1　交互模式 / 66
12.2　松耦合 / 66
12.3　中心和節(jié)點模式 / 66
12.4　同步交互和異步交互 / 69
12.5　請求和應答 / 70
12.6　發(fā)布和訂閱 / 70
12.7　兩階段提交 / 70
12.8　集成交互類型 / 71
第13章　核心實時數(shù)據(jù)集成技術 / 72
13.1　令人困惑的術語 / 72
13.2　企業(yè)服務總線 / 72
13.3　面向服務架構 / 75
13.4　可擴展標記語言 / 77
13.5　數(shù)據(jù)復制和變化數(shù)據(jù)捕獲 / 81
13.6　企業(yè)應用集成 / 82
13.7　企業(yè)信息集成 / 82
第14章　數(shù)據(jù)集成建模 / 84
14.1　規(guī)范化建模 / 84
14.2　消息建模 / 88
第15章　主數(shù)據(jù)管理 / 89
15.1　主數(shù)據(jù)管理簡介 / 89
15.2　需要主數(shù)據(jù)管理方案的原因 / 89
15.3　購買的軟件包與主數(shù)據(jù) / 90
15.4　參考數(shù)據(jù) / 90
15.5　主和從 / 91
15.6　外部數(shù)據(jù) / 93
15.7　主數(shù)據(jù)管理功能 / 93
15.8　主數(shù)據(jù)管理方案的類型—注冊表以及數(shù)據(jù)中心 / 94
第16章　實時更新數(shù)據(jù)倉庫 / 95
16.1　企業(yè)信息工廠 / 95
16.2　操作型數(shù)據(jù)存儲 / 96
16.3　移動到數(shù)據(jù)倉庫的主數(shù)據(jù) / 97
第17章　實時數(shù)據(jù)集成架構和元數(shù)據(jù) / 99
17.1　實時數(shù)據(jù)集成元數(shù)據(jù)簡介 / 99
17.2　建模 / 100
17.3　概要分析 / 100
17.4　元數(shù)據(jù)庫 / 101
17.5　企業(yè)服務總線—數(shù)據(jù)轉換和調度 / 101
17.5.1　技術中介 / 101
17.5.2　業(yè)務內容 / 102
17.6　數(shù)據(jù)移動和中間件 / 102
17.7　外部交互 / 102
第四部分　大數(shù)據(jù)集成
第18章　大數(shù)據(jù)集成簡介 / 106
18.1　數(shù)據(jù)集成及非結構化數(shù)據(jù) / 106
18.2　大數(shù)據(jù)、云數(shù)據(jù)及數(shù)據(jù)虛擬化 / 106
第19章　云架構和數(shù)據(jù)集成 / 107
19.1　為什么云中的數(shù)據(jù)集成比較重要 / 107
19.2　公共云 / 107
19.3　云安全 / 108
19.4　云延遲 / 109
19.5　云冗余 / 110
第20章　數(shù)據(jù)虛擬化 / 111
20.1　恰逢其時的一項技術 / 111
20.2　數(shù)據(jù)虛擬化的商業(yè)用途 / 112
20.2.1　商務智能方案 / 112
20.2.2　集成不同類型的數(shù)據(jù) / 113
20.2.3　快速向數(shù)據(jù)倉庫中增加或者原型增加數(shù)據(jù) / 113
20.2.4　將物理上不同的數(shù)據(jù)一起展現(xiàn) / 113
20.2.5　利用不同的數(shù)據(jù)和模型觸發(fā)交易 / 114
20.3　數(shù)據(jù)虛擬化架構 / 114
20.3.1　源和適配器 / 114
20.3.2　映射、模型和視圖 / 114
20.3.3　轉換和展現(xiàn) / 115
第21章　大數(shù)據(jù)集成 / 116
21.1　什么是大數(shù)據(jù) / 116
21.2　大數(shù)據(jù)維度—量 / 116
21.2.1　大規(guī)模并行處理—將處理過程移動到數(shù)據(jù)端 / 116
21.2.2　Hadoop和MapReduce / 117
21.2.3　與外部數(shù)據(jù)集成 / 117
21.2.4　虛擬化 / 118
21.3　大數(shù)據(jù)維度—多樣性 / 118
21.3.1　數(shù)據(jù)類型 / 118
21.3.2　集成不同類型的數(shù)據(jù) / 118
21.4　大數(shù)據(jù)維度—速度 / 120
21.4.1　流式數(shù)據(jù) / 121
21.4.2　傳感器和GPS數(shù)據(jù) / 121
21.4.3　社會化媒體數(shù)據(jù) / 121
21.5　傳統(tǒng)大數(shù)據(jù)應用案例 / 121
21.6　更多大數(shù)據(jù)應用案例 / 122
21.6.1　醫(yī)療 / 122
21.6.2　物流 / 122
21.6.3　國家安全 / 122
21.7　利用大數(shù)據(jù)的力量—實施決策支持 / 123
21.7.1　觸發(fā)行動 / 123
21.7.2　從內存以及磁盤中檢索數(shù)據(jù)的速度 / 123
21.7.3　從數(shù)據(jù)分析到模型，從流式數(shù)據(jù)到?jīng)Q策 / 124
21.8　大數(shù)據(jù)架構 / 125
21.8.1　操作型系統(tǒng)和數(shù)據(jù)存儲 / 125
21.8.2　中間數(shù)據(jù)中心 / 126
21.8.3　商務智能工具 / 126
21.8.4　數(shù)據(jù)虛擬化服務器 / 127
21.8.5　批處理和實時數(shù)據(jù)集成工具 / 127
21.8.6　分析型沙盒 / 127
21.8.7　風險響應系統(tǒng)/推薦引擎 / 127
第22章　移動數(shù)據(jù)管理總結 / 132
22.1　數(shù)據(jù)集成架構 / 132
22.1.1　為什么需要數(shù)據(jù)集成架構 / 132
22.1.2　數(shù)據(jù)集成生命周期和專家經(jīng)驗 / 132
22.1.3　安全和隱私 / 133
22.2　數(shù)據(jù)集成引擎 / 134
22.2.1　操作連貫性 / 134
22.2.2　ETL引擎 / 134
22.2.3　企業(yè)服務總線 / 135
22.2.4　數(shù)據(jù)虛擬化服務器 / 135
22.2.5　數(shù)據(jù)移動 / 136
22.3　數(shù)據(jù)集成中心 / 136
22.3.1　主數(shù)據(jù) / 137
22.3.2　數(shù)據(jù)倉庫和操作型數(shù)據(jù)存儲 / 137
22.3.3　企業(yè)內容管理 / 138
22.3.4　數(shù)據(jù)歸檔 / 138
22.4　元數(shù)據(jù)管理 / 138
22.4.1　數(shù)據(jù)發(fā)現(xiàn) / 138
22.4.2　數(shù)據(jù)概要分析 / 139
22.4.3　數(shù)據(jù)建模 / 139
22.4.4　數(shù)據(jù)流建模 / 139
22.4.5　元數(shù)據(jù)存儲庫 / 139
22.5　結束語 / 140
參考文獻 / 141