Flume日志收集與MapReduce模式

目 錄 Contents
譯者序
前 言
上篇 Flume日志收集
第1章 概覽與架構(gòu) 2
1.1 Flume 0.9 3
1.2 Flume 1.X（FlumeNG） 4
1.3 HDFS與流式數(shù)據(jù)/日志的問題 5
1.4 源、通道與接收器 6
1.5 Flume事件 7
1.5.1 攔截器、通道選擇器與選擇處理器 8
1.5.2 分層數(shù)據(jù)收集（多數(shù)據(jù)流與代理） 9
1.6 小結(jié) 10
第2章 Flume快速起步 11
2.1 下載Flume 11
2.2 Flume配置文件概覽 13
2.3 從“Hello World”開始 15
2.4 小結(jié) 20
第3章 通道 22
3.1 內(nèi)存通道 23
3.2 文件通道 25
3.3 小結(jié) 29
第4章 接收器與接收處理器 31
4.1 HDFS接收器 31
4.1.1 路徑與文件名 34
4.1.2 文件轉(zhuǎn)儲(chǔ) 37
4.2 壓縮編解碼器 38
4.3 事件序列化器 38
4.3.1 文本輸出 39
4.3.2 帶有頭信息的文本 39
4.3.3 Apache Avro 39
4.3.4 文件類型 41
4.3.5 超時(shí)設(shè)置與線程池 43
4.4 接收器組 44
4.4.1 負(fù)載均衡 45
4.4.2 故障恢復(fù) 45
4.5 小結(jié) 46
第5章 源與通道選擇器 48
5.1 使用tail的問題 48
5.2 exec源 50
5.3 假脫機(jī)目錄源 53
5.4 syslog源 55
5.4.1 syslog UDP源 56
5.4.2 syslog TCP源 58
5.4.3 多端口syslog TCP源 59
5.5 通道選擇器 61
5.5.1 復(fù)制 62
5.5.2 多路復(fù)用 62
5.6 小結(jié) 63
第6章 攔截器、ETL與路由 65
6.1 攔截器 65
6.1.1 Timestamp 66
6.1.2 Host 67
6.1.3 Static 68
6.1.4 正則表達(dá)式過濾 69
6.1.5 正則表達(dá)式抽取 70
6.1.6 自定義攔截器 74
6.2 數(shù)據(jù)流分層 75
6.2.1 Avro源/接收器 76
6.2.2 命令行Avro 78
6.2.3 Log4J追加器 79
6.2.4 負(fù)載均衡Log4J追加器 81
6.3 路由 82
6.4 小結(jié) 83
第7章 監(jiān)控Flume 85
7.1 監(jiān)控代理進(jìn)程 86
7.1.1 Monit 86
7.1.2 Nagios 86
7.2 監(jiān)控性能度量情況 87
7.2.1 Ganglia 87
7.2.2 內(nèi)部HTTP服務(wù)器 89
7.2.3 自定義監(jiān)控鉤子 91
7.3 小結(jié) 92
第8章 萬法皆空——實(shí)時(shí)分布式數(shù)據(jù)收集的現(xiàn)狀 93
8.1 傳輸時(shí)間與日志事件 94
8.2 萬惡的時(shí)區(qū) 94
8.3 容量規(guī)劃 95
8.4 多數(shù)據(jù)中心的注意事項(xiàng) 96
8.5 合規(guī)性與數(shù)據(jù)失效 97
8.6 小結(jié) 98
下篇 MapReduce模式
第9章 使用Java編寫一個(gè)單詞統(tǒng)計(jì)應(yīng)用（初級(jí)） 102
9.1 準(zhǔn)備工作 102
9.2 操作步驟 103
9.3 示例說明 103
第10章 使用MapReduce編寫一個(gè)單詞統(tǒng)計(jì)應(yīng)用并運(yùn)行（初級(jí)） 105
10.1 準(zhǔn)備工作 105
10.2 操作步驟 106
10.3 示例說明 106
10.4 補(bǔ)充說明 109
第11章 在分布式環(huán)境中安裝Hadoop并運(yùn)行單詞統(tǒng)計(jì)應(yīng)用（初級(jí)） 110
11.1 準(zhǔn)備工作 111
11.2 操作步驟 112
11.3 示例說明 116
第12章 編寫格式化器（中級(jí)） 117
12.1 準(zhǔn)備工作 118
12.2 操作步驟 118
12.3 示例說明 119
12.4 補(bǔ)充說明 121
第13章 分析——使用MapReduce繪制頻度分布（中級(jí)） 122
13.1 準(zhǔn)備工作 123
13.2 操作步驟 123
13.3 示例說明 125
13.4 補(bǔ)充說明 128
第14章 關(guān)系操作——使用MapReduce連接兩個(gè)數(shù)據(jù)集（高級(jí)） 129
14.1 準(zhǔn)備工作 130
14.2 操作步驟 130
14.3 示例說明 131
14.4 補(bǔ)充說明 134
第15章 使用MapReduce實(shí)現(xiàn)集合操作（中級(jí)） 135
15.1 準(zhǔn)備工作 135
15.2 操作步驟 136
15.3 示例說明 137
15.4 補(bǔ)充說明 140
第16章 使用MapReduce實(shí)現(xiàn)交叉相關(guān)（中級(jí)） 141
16.1 準(zhǔn)備工作 141
16.2 操作步驟 142
16.3 示例說明 142
16.4 補(bǔ)充說明 145
第17章 使用MapReduce實(shí)現(xiàn)簡單搜索（中級(jí)） 146
17.1 準(zhǔn)備工作 147
17.2 操作步驟 147
17.3 示例說明 148
17.4 補(bǔ)充說明 150
第18章 使用MapReduce實(shí)現(xiàn)簡單的圖操作（高級(jí)） 151
18.1 準(zhǔn)備工作 152
18.2 操作步驟 152
18.3 示例說明 153
18.4 補(bǔ)充說明 157
第19章 使用MapReduce實(shí)現(xiàn)Kmeans（高級(jí)） 158
19.1 準(zhǔn)備工作 159
19.2 操作步驟 159
19.3 示例說明 160
19.4 補(bǔ)充說明 164