流式系統(tǒng)

第 一部分 Beam模型
第 1章　流式處理入門 2
1.1 術(shù)語(yǔ)：什么是流 3
1.2 數(shù)據(jù)處理模式 9
1.3 小結(jié) 17
第 2章　數(shù)據(jù)處理的來(lái)龍去脈 19
2.1 路線圖 20
2.2 批基礎(chǔ)：定義及位置 21
2.3 開始流處理：時(shí)機(jī)及方法 27
2.4 小結(jié) 44
第3章　水位 47
3.1 定義 47
3.2 源端水位的創(chuàng)建 49
3.3 水位傳播 53
3.4 百分比水位 65
3.5 處理時(shí)間水位 67
3.6 案例分析 69
3.7 小結(jié) 75
第4章　高級(jí)開窗 76
4.1 時(shí)機(jī)/位置：處理時(shí)間開窗 76
4.2 位置：會(huì)話 82
4.3 位置：自定義開窗 85
4.4 小結(jié) 95
第5章　精確一次及副作用 97
5.1 為什么精確一次這么重要 97
5.2 準(zhǔn)確性與完整性 98
5.3 確保在混洗中精確一次 101
5.4 解決確定性 102
5.5 性能 102
5.6 源端的精確一次 105
5.7 匯端的精確一次 106
5.8 用例 107
5.9 其他系統(tǒng) 110
5.10 小結(jié) 112
第二部分 流和表
第6章　流和表 114
6.1 流和表的基礎(chǔ)：“流表相對(duì)論”的特殊理論 115
6.2 批處理與流和表 116
6.3 流和表世界的定義、位置、時(shí)機(jī)和方法 121
6.4 “流表相對(duì)論”的一般理論 137
6.5 小結(jié) 139
第7章　持久化狀態(tài)的實(shí)踐 141
7.1 動(dòng)機(jī) 141
7.2 隱式狀態(tài) 144
7.3 廣義狀態(tài) 149
7.4 小結(jié) 162
第8章　流式SQL 163
8.1 什么是流式SQL 163
8.2 回顧：流和表的設(shè)計(jì)偏好 174
8.3 展望：邁向健壯的流式SQL 184
8.4 小結(jié) 204
第9章　流式連接 207
9.1 所有連接都是流式連接 207
9.2 非開窗連接 208
9.3 開窗連接 219
9.4 小結(jié) 234
第 10章　大規(guī)模數(shù)據(jù)處理的演化 236
10.1 MapReduce 237
10.2 Hadoop 241
10.3 Flume 242
10.4 Storm 247
10.5 Spark 250
10.6 MillWheel 252
10.7 Kafka 256
10.8 Cloud DataFlow 259
10.9 Flink 261
10.10 Beam 265
10.11 小結(jié) 268