企業(yè)大數(shù)據(jù)處理：Spark、Druid、Flume與Kafka應(yīng)用實踐

Contents目　　錄
前　言
*部分　準備工作
第1章　基礎(chǔ)環(huán)境準備 2
1.1　軟件環(huán)境準備 2
1.2　集群環(huán)境準備 4
1.2.1　Zookeeper集群部署 4
1.2.2　Hadoop部署 6
1.3　小結(jié) 15
第二部分　核心技術(shù)
第2章　Spark詳解 18
2.1　Spark概述 18
2.1.1　Spark概述 18
2.1.2　Shuffle詳解 25
2.2　Spark SQL 29
2.2.1　SparkSession 29
2.2.2　DataFrame 30
2.2.3　DataSet 35
2.3　Structured Streaming 35
2.3.1　數(shù)據(jù)源 36
2.3.2　輸出到外部存儲 38
2.3.3　WordCount示例 40
2.4　Spark優(yōu)化 42
2.4.1　數(shù)據(jù)優(yōu)化 42
2.4.2　代碼優(yōu)化 44
2.4.3　參數(shù)優(yōu)化 46
2.5　小結(jié) 48
第3章　Druid原理及部署 49
3.1　架構(gòu)設(shè)計 49
3.1.1　節(jié)點類型 49
3.1.2　Segment介紹 57
3.1.3　容錯處理 59
3.1.4　路由節(jié)點 60
3.2　集群部署 63
3.2.1　集群規(guī)劃 63
3.2.2　配置安裝 64
3.3　小結(jié) 72
第4章　Druid數(shù)據(jù)攝入 73
4.1　模式設(shè)計 73
4.1.1　設(shè)計概述 73
4.1.2　數(shù)據(jù)解析 75
4.1.3　Segment分區(qū) 79
4.1.4　模式更改 81
4.2　批量數(shù)據(jù)攝入 81
4.3　流數(shù)據(jù)攝入 87
4.3.1　Tranquility 88
4.3.2　StreamPush 91
4.3.3　從Kafka中攝取數(shù)據(jù) 92
4.4　數(shù)據(jù)更新 94
4.5　小結(jié) 95
第5章　Druid客戶端 96
5.1　涉及組件 96
5.1.1　查詢相關(guān) 96
5.1.2　過濾器 99
5.1.3　聚合粒度 101
5.1.4　聚合器 105
5.2　查詢類型 109
5.2.1　時間序列查詢 109
5.2.2　TopN查詢 111
5.2.3　分組查詢 113
5.2.4　元數(shù)據(jù)查詢 117
5.2.5　搜索查詢 121
5.3　查詢API 125
5.3.1　RESTful介紹 125
5.3.2　Jersey客戶端 126
5.4　小結(jié) 129
第6章　日志收集 130
6.1　Flume介紹 130
6.1.1　基本架構(gòu) 131
6.2　Flume應(yīng)用實踐 144
6.2.1　攔截器、選擇器實踐 144
6.2.2　負載均衡、故障轉(zhuǎn)移實踐 149
6.2.3　設(shè)計與實踐 150
6.3　小結(jié) 154
第7章　分布式消息隊列 155
7.1　Kafka介紹 155
7.1.1　基本架構(gòu) 155
7.1.2　高吞吐的實現(xiàn) 157
7.1.3　高可用的實現(xiàn) 160
7.2　安裝部署 161
7.2.1　Broker配置參數(shù) 161
7.2.2　分布式部署 162
7.3　客戶端API 163
7.3.1　Producer API 164
7.3.2　Consumer API 165
7.4　小結(jié) 169
第三部分　項目實踐
第8章　數(shù)據(jù)平臺 172
8.1　需求分析 172
8.2　功能實現(xiàn) 173
8.2.1　架構(gòu)設(shè)計 173
8.2.2　關(guān)鍵功能實現(xiàn) 175
8.3　小結(jié) 184
第9章　監(jiān)控系統(tǒng) 185
9.1　InfluxDB 185
9.1.1　InfluxDB簡介 186
9.1.2　InfluxDB安裝 186
9.1.3　InfluxDB操作 188
9.1.4　InfluxDB客戶端 191
9.2　JMXTrans 192
9.2.1　JMXTrans介紹 192
9.2.2　JMXTrans安裝 194
9.2.3　JMXTrans使用 195
9.3　Grafana 198
9.3.1　Grafana安裝 198
9.3.2　Grafana使用 199
9.4　小結(jié) 208