RocketMQ技術(shù)內(nèi)幕：RocketMQ架構(gòu)設(shè)計與實現(xiàn)原理（第2版）

第1章　閱讀源碼前的準(zhǔn)備1
1.1　獲取和調(diào)試RocketMQ的源碼1
1.1.1　Eclipse獲取RocketMQ源碼1
1.1.2　Eclipse調(diào)試RocketMQ源碼8
1.1.3　IntelliJ IDEA獲取RocketMQ源碼14
1.1.4　IntelliJ IDEA調(diào)試RocketMQ源碼16
1.2　RocketMQ源碼的目錄結(jié)構(gòu)23
1.3　RocketMQ的設(shè)計理念和設(shè)計目標(biāo)23
1.3.1　設(shè)計理念23
1.3.2　設(shè)計目標(biāo)24
1.4　本章小結(jié)26
第2章　RocketMQ路由中心NameServer27
2.1　NameServer架構(gòu)設(shè)計27
2.2　NameServer啟動流程29
2.3　NameServer路由注冊、故障剔除32
2.3.1　路由元信息32
2.3.2　路由注冊35
2.3.3　路由刪除40
2.3.4　路由發(fā)現(xiàn)43
2.4　本章小結(jié)44
第3章　RocketMQ消息發(fā)送46
3.1　漫談RocketMQ消息發(fā)送46
3.1.1　topic路由機制47
3.1.2　消息發(fā)送高可用設(shè)計48
3.2　認(rèn)識RocketMQ消息50
3.3　生產(chǎn)者啟動流程51
3.3.1　初識DefaultMQProducer51
3.3.2　消息生產(chǎn)者啟動流程54
3.4　消息發(fā)送基本流程55
3.4.1　消息長度驗證56
3.4.2　查找主題路由信息57
3.4.3　選擇消息隊列60
3.4.4　消息發(fā)送65
3.5　批量消息發(fā)送72
3.6　本章小結(jié)74
第4章　RocketMQ消息存儲75
4.1　存儲概要設(shè)計75
4.1.1　RocketMQ存儲文件的組織方式76
4.1.2　內(nèi)存映射80
4.1.3　靈活多變的刷盤策略81
4.1.4　transientStorePoolEnable機制82
4.1.5　文件恢復(fù)機制82
4.2　初識消息存儲83
4.3　消息發(fā)送存儲流程84
4.4　存儲文件組織與內(nèi)存映射90
4.4.1　MappedFileQueue映射文件隊列 90
4.4.2　MappedFile內(nèi)存映射文件92
4.4.3　TransientStorePool99
4.5　RocketMQ存儲文件100
4.5.1　CommitLog文件101
4.5.2　ConsumeQueue文件102
4.5.3　Index文件106
4.5.4　checkpoint文件110
4.6　實時更新ConsumeQueue與Index文件111
4.6.1　根據(jù)消息更新ConsumeQueue文件113
4.6.2　根據(jù)消息更新Index文件114
4.7　ConsumeQueue與Index文件恢復(fù)115
4.7.1　Broker正常停止文件恢復(fù)118
4.7.2　Broker異常停止文件恢復(fù)120
4.8　文件刷盤機制121
4.8.1　Broker同步刷盤122
4.8.2　Broker異步刷盤125
4.9　過期文件刪除機制128
4.10　同步雙寫132
4.11　本章小結(jié)136
第5章　RocketMQ消息消費137
5.1　RocketMQ消息消費概述137
5.1.1　消費隊列負(fù)載機制與重平衡138
5.1.2　并發(fā)消費模型139
5.1.3　消息消費進(jìn)度反饋機制139
5.2　消息消費者初探141
5.3　消費者啟動流程143
5.4　消息拉取146
5.4.1　PullMessageService實現(xiàn)機制147
5.4.2　ProcessQueue實現(xiàn)機制149
5.4.3　消息拉取基本流程150
5.5　消息隊列負(fù)載與重新分布機制167
5.6　消息消費過程175
5.6.1　消息消費176
5.6.2　消息確認(rèn)180
5.6.3　消費進(jìn)度管理184
5.7　定時消息機制189
5.7.1　load()方法190
5.7.2　start()方法190
5.7.3　定時調(diào)度邏輯192
5.8　消息過濾機制194
5.9　順序消息199
5.9.1　消息隊列負(fù)載199
5.9.2　消息拉取200
5.9.3　消息消費201
5.9.4　消息隊列鎖實現(xiàn)208
5.10　本章小結(jié)209
第6章　RocketMQ的ACL210
6.1　什么是ACL210
6.2　如何使用ACL211
6.2.1　Broker端開啟ACL211
6.2.2　客戶端使用ACL212
6.3　ACL實現(xiàn)原理214
6.3.1　Broker端ACL核心入口214
6.3.2　PlainAccessValidator詳解216
6.3.3　PlainPermissionManager詳解220
6.3.4　AclClientRPCHook詳解228
6.4　本章小結(jié)231
第7章　RocketMQ主從同步機制232
7.1　RocketMQ主從同步原理232
7.1.1　HAService整體工作機制233
7.1.2　AcceptSocketService實現(xiàn)原理233
7.1.3　GroupTransferService實現(xiàn)原理235
7.1.4　HAClient實現(xiàn)原理236
7.1.5　HAConnection實現(xiàn)原理239
7.2　RocketMQ讀寫分離機制245
7.3　RocketMQ元數(shù)據(jù)同步248
7.3.1　從節(jié)點主動同步元數(shù)據(jù)249
7.3.2　主節(jié)點消息拉取主動同步消費進(jìn)度250
7.4　本章小結(jié)251
第8章　RocketMQ消息軌跡252
8.1　消息軌跡的引入目的和使用方法252
8.2　消息軌跡設(shè)計原理255
8.2.1　消息軌跡數(shù)據(jù)格式255
8.2.2　如何采集軌跡數(shù)據(jù)256
8.2.3　如何存儲消息軌跡數(shù)據(jù)257
8.3　消息軌跡實現(xiàn)原理257
8.3.1　尋找消息軌跡入口257
8.3.2　消息發(fā)送軌跡數(shù)據(jù)259
8.3.3　消息軌跡異步轉(zhuǎn)發(fā)實現(xiàn)機制261
8.4　本章小結(jié)265
第9章　RocketMQ主從切換266
9.1　主從切換引入目的266
9.2　Raft協(xié)議簡介267
9.2.1　Leader選舉267
9.2.2　日志復(fù)制268
9.3　RocketMQ DLedger主從切換之Leader選主269
9.3.1　DLedgerLeaderElector核心類及核心屬性270
9.3.2　選舉狀態(tài)管理器初始化271
9.3.3　選舉狀態(tài)機狀態(tài)流轉(zhuǎn)273
9.3.4　發(fā)送投票請求與處理投票請求280
9.3.5　發(fā)送心跳包與處理心跳包283
9.4　RocketMQ DLedger主從切換之存儲實現(xiàn)288
9.4.1　RocketMQ DLedger核心類及核心屬性288
9.4.2　RocketMQ DLedger數(shù)據(jù)存儲協(xié)議290
9.4.3　RocketMQ DLedger索引存儲協(xié)議291
9.5　RocketMQ DLedger主從切換之日志追加291
9.5.1　日志追加流程概述291
9.5.2　判斷Push隊列是否已滿293
9.5.3　Leader節(jié)點日志存儲293
9.5.4　Leader節(jié)點等待從節(jié)點日志復(fù)制響應(yīng)ACK298
9.6　RocketMQ DLedger主從切換之日志復(fù)制299
9.6.1　日志復(fù)制設(shè)計理念300
9.6.2　日志復(fù)制類設(shè)計體系301
9.6.3　日志轉(zhuǎn)發(fā)303
9.7　RocketMQ整合DLedger設(shè)計技巧與實現(xiàn)原理326
9.7.1　數(shù)據(jù)存儲兼容設(shè)計327
9.7.2　數(shù)據(jù)存儲兼容實現(xiàn)原理328
9.7.3　主從切換元數(shù)據(jù)同步機制337
9.8　RocketMQ主從切換實戰(zhàn)344
9.8.1　主從切換核心配置屬性344
9.8.2　搭建主從同步環(huán)境344
9.8.3　主從同步集群升級到主從切換346
9.9　本章小結(jié)350
第10章　RocketMQ監(jiān)控352
10.1　設(shè)計理念352
10.2　實現(xiàn)原理353
10.2.1　監(jiān)控相關(guān)類圖353
10.2.2　監(jiān)控原始數(shù)據(jù)采集流程355
10.3　監(jiān)控數(shù)據(jù)采樣機制356
10.3.1　監(jiān)控數(shù)據(jù)采樣356
10.3.2　根據(jù)采樣計算統(tǒng)計指標(biāo)357
10.4　如何采集監(jiān)控指標(biāo)359
10.5　監(jiān)控實戰(zhàn)應(yīng)用360
10.6　本章小結(jié)365
第11章　RocketMQ實戰(zhàn)366
11.1　消息批量發(fā)送366
11.2　消息發(fā)送隊列自選擇367
11.3　消息過濾368
11.3.1　TAG過濾模式368
11.3.2　SQL過濾模式368
11.3.3　類過濾模式369
11.4　事務(wù)消息371
11.5　Spring整合RocketMQ375
11.6　Spring Cloud整合RocketMQ376
11.7　RocketMQ監(jiān)控與運維命令384
11.7.1　搭建RocketMQ監(jiān)控平臺rocketmq-console384
11.7.2　RocketMQ管理命令387
11.8　應(yīng)用場景分析423
11.9　實戰(zhàn)案例424
11.9.1　RocketMQ集群線上故障縮容實戰(zhàn)案例424
11.9.2　RocketMQ在線擴容實戰(zhàn)427
11.10　本章小結(jié)430