Flink技術(shù)內(nèi)幕：架構(gòu)設(shè)計與實現(xiàn)原理

前　言
第1章　閱讀Flink源代碼前的準(zhǔn)備 1
11　環(huán)境準(zhǔn)備 1
12　獲取、編譯和調(diào)試Flink的源代碼 4
121　獲取與導(dǎo)入Flink源代碼 4
122　編譯與調(diào)試Flink源代碼 6
13　Flink源代碼的目錄結(jié)構(gòu) 9
14　Flink設(shè)計理念與基本架構(gòu) 11
141　Flink與主流計算引擎對比 11
142　Flink基本架構(gòu) 14
15　本章小結(jié) 17
第2章　編程模型與API 18
21　DataStream 18
22　算子 21
23　窗口 28
231　窗口的基本概念 28
232　窗口的執(zhí)行流程 30
233　窗口分配器 32
234　觸發(fā)器 37
235　窗口函數(shù) 41
24　本章小結(jié) 43
第3章　運行時組件與通信 44
31　運行時組件 44
311　REST 45
312　Dispatcher 54
313　ResourceManager 61
314　JobMaster 75
315　TaskExecutor 85
32　組件間通信 95
321　Akka與Actor模型 95
322　組件間通信實現(xiàn) 99
33　運行時組件的高可用 117
331　Master節(jié)點上組件的高可用 117
332　現(xiàn)有運行時組件高可用存在的問題及其解決方案 126
34　本章小結(jié) 128
第4章　狀態(tài)管理與容錯 129
41　狀態(tài) 129
411　狀態(tài)的原理與實現(xiàn) 129
412　狀態(tài)生存時間的原理與實現(xiàn) 134
42　檢查點 137
421　檢查點機(jī)制原理 137
422　檢查點執(zhí)行過程 137
423　任務(wù)容錯 140
43　狀態(tài)后端 143
44　本章小結(jié) 148
第5章　任務(wù)提交與執(zhí)行 149
51　任務(wù)提交整體流程 149
52　DAG轉(zhuǎn)換 152
521　DAG的4層轉(zhuǎn)換 152
522　WordCount轉(zhuǎn)換過程 152
53　Slot分配 160
531　相關(guān)概念和實現(xiàn)類 160
532　Slot申請流程 162
533　任務(wù)部署 168
54　任務(wù)執(zhí)行機(jī)制 170
541　任務(wù)執(zhí)行過程 170
542　MailBox線程模型 174
55　本章小結(jié) 177
第6章　Flink網(wǎng)絡(luò)棧 178
61　內(nèi)存管理 178
62　網(wǎng)絡(luò)傳輸 182
621　什么是Flink網(wǎng)絡(luò)棧 182
622　非流控模型的網(wǎng)絡(luò)傳輸流程 184
623　流控模型的網(wǎng)絡(luò)傳輸流程 197
63　流批一體的shuffle架構(gòu) 199
631　生命周期管理 199
632　數(shù)據(jù)shuffle 207
64　本章小結(jié) 208
第7章　Flink Connector的設(shè)計與實現(xiàn) 209
71　Kafka Connector實現(xiàn)原理 209
711　Kafka Source Connector實現(xiàn) 209
712　Kafka Sink Connector 實現(xiàn) 216
72　HBase Table Connector 實現(xiàn)原理 220
721　HBase Source Connector和Sink Connector的工廠實現(xiàn) 221
722　HBase維表實現(xiàn) 222
73　本章小結(jié) 224
第8章　部署模式 225
81　Local部署 225
82　Standalone部署 228
83　Flink on YARN模式 240
831　YARN基本架構(gòu) 240
832　Flink on YARN模式介紹 241
833　Flink on YARN啟動過程 243
84　Flinkon Kubernetes模式 260
85　本章小結(jié) 265
第9章　Flink Table與SQL 266
91　StreamTableEnvironment類介紹 266
911　StreamExecution-Environment類 267
912　EnvironmentSettings類 267
913　TableConfig類 268
914　StreamTableEnvironment的創(chuàng)建過程 269
92　SQL解析過程 270
921　SQL解析 270
922　SQL優(yōu)化 277
923　RelNode轉(zhuǎn)換 279
93　Table Connector 281
931　TableSource 282
932　TableSink 286
933　SPI機(jī)制在Table Connector中的應(yīng)用 288
94　UDF與內(nèi)置算子 292
941　UDF 292
942　內(nèi)置算子 294
95　本章小結(jié) 297
第10章　Flink CEP 原理解析 298
101　CEP的基本概念 298
1011　什么是Flink CEP 298
1012　Pattern 298
1013　量詞 300
1014　條件 301
1015　連接 302
1016　Flink CEP作業(yè)編寫舉例 302
102　CEP內(nèi)部實現(xiàn)原理 304
1021　NFA簡介 305
1022　匹配過程 305
1023　CEP狀態(tài)存儲 310
1024　CEP和SQL結(jié)合 313
103　本章小結(jié) 315
第11章　Flink監(jiān)控 316
111　監(jiān)控指標(biāo) 316
1111　指標(biāo)類型 316
1112　系統(tǒng)指標(biāo)及自定義指標(biāo) 318
1113　指標(biāo)的使用 319
112　常用系統(tǒng)指標(biāo) 322
113　監(jiān)控體系建設(shè) 324
1131　指標(biāo)監(jiān)控及展示 324
1132　日志分析處理 326
1133　定位手段 326
114　本章小結(jié) 327