RocketMQ技術(shù)內(nèi)幕：RocketMQ架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理（第2版）

第1章　閱讀源碼前的準(zhǔn)備1
1.1　獲取和調(diào)試RocketMQ的源碼1
1.1.1　Eclipse獲取RocketMQ源碼1
1.1.2　Eclipse調(diào)試RocketMQ源碼8
1.1.3　IntelliJ IDEA獲取RocketMQ源碼14
1.1.4　IntelliJ IDEA調(diào)試RocketMQ源碼16
1.2　RocketMQ源碼的目錄結(jié)構(gòu)23
1.3　RocketMQ的設(shè)計(jì)理念和設(shè)計(jì)目標(biāo)23
1.3.1　設(shè)計(jì)理念23
1.3.2　設(shè)計(jì)目標(biāo)24
1.4　本章小結(jié)26
第2章　RocketMQ路由中心NameServer27
2.1　NameServer架構(gòu)設(shè)計(jì)27
2.2　NameServer啟動(dòng)流程29
2.3　NameServer路由注冊(cè)、故障剔除32
2.3.1　路由元信息32
2.3.2　路由注冊(cè)35
2.3.3　路由刪除40
2.3.4　路由發(fā)現(xiàn)43
2.4　本章小結(jié)44
第3章　RocketMQ消息發(fā)送46
3.1　漫談RocketMQ消息發(fā)送46
3.1.1　topic路由機(jī)制47
3.1.2　消息發(fā)送高可用設(shè)計(jì)48
3.2　認(rèn)識(shí)RocketMQ消息50
3.3　生產(chǎn)者啟動(dòng)流程51
3.3.1　初識(shí)DefaultMQProducer51
3.3.2　消息生產(chǎn)者啟動(dòng)流程54
3.4　消息發(fā)送基本流程55
3.4.1　消息長(zhǎng)度驗(yàn)證56
3.4.2　查找主題路由信息57
3.4.3　選擇消息隊(duì)列60
3.4.4　消息發(fā)送65
3.5　批量消息發(fā)送72
3.6　本章小結(jié)74
第4章　RocketMQ消息存儲(chǔ)75
4.1　存儲(chǔ)概要設(shè)計(jì)75
4.1.1　RocketMQ存儲(chǔ)文件的組織方式76
4.1.2　內(nèi)存映射80
4.1.3　靈活多變的刷盤(pán)策略81
4.1.4　transientStorePoolEnable機(jī)制82
4.1.5　文件恢復(fù)機(jī)制82
4.2　初識(shí)消息存儲(chǔ)83
4.3　消息發(fā)送存儲(chǔ)流程84
4.4　存儲(chǔ)文件組織與內(nèi)存映射90
4.4.1　MappedFileQueue映射文件隊(duì)列 90
4.4.2　MappedFile內(nèi)存映射文件92
4.4.3　TransientStorePool99
4.5　RocketMQ存儲(chǔ)文件100
4.5.1　CommitLog文件101
4.5.2　ConsumeQueue文件102
4.5.3　Index文件106
4.5.4　checkpoint文件110
4.6　實(shí)時(shí)更新ConsumeQueue與Index文件111
4.6.1　根據(jù)消息更新ConsumeQueue文件113
4.6.2　根據(jù)消息更新Index文件114
4.7　ConsumeQueue與Index文件恢復(fù)115
4.7.1　Broker正常停止文件恢復(fù)118
4.7.2　Broker異常停止文件恢復(fù)120
4.8　文件刷盤(pán)機(jī)制121
4.8.1　Broker同步刷盤(pán)122
4.8.2　Broker異步刷盤(pán)125
4.9　過(guò)期文件刪除機(jī)制128
4.10　同步雙寫(xiě)132
4.11　本章小結(jié)136
第5章　RocketMQ消息消費(fèi)137
5.1　RocketMQ消息消費(fèi)概述137
5.1.1　消費(fèi)隊(duì)列負(fù)載機(jī)制與重平衡138
5.1.2　并發(fā)消費(fèi)模型139
5.1.3　消息消費(fèi)進(jìn)度反饋機(jī)制139
5.2　消息消費(fèi)者初探141
5.3　消費(fèi)者啟動(dòng)流程143
5.4　消息拉取146
5.4.1　PullMessageService實(shí)現(xiàn)機(jī)制147
5.4.2　ProcessQueue實(shí)現(xiàn)機(jī)制149
5.4.3　消息拉取基本流程150
5.5　消息隊(duì)列負(fù)載與重新分布機(jī)制167
5.6　消息消費(fèi)過(guò)程175
5.6.1　消息消費(fèi)176
5.6.2　消息確認(rèn)180
5.6.3　消費(fèi)進(jìn)度管理184
5.7　定時(shí)消息機(jī)制189
5.7.1　load()方法190
5.7.2　start()方法190
5.7.3　定時(shí)調(diào)度邏輯192
5.8　消息過(guò)濾機(jī)制194
5.9　順序消息199
5.9.1　消息隊(duì)列負(fù)載199
5.9.2　消息拉取200
5.9.3　消息消費(fèi)201
5.9.4　消息隊(duì)列鎖實(shí)現(xiàn)208
5.10　本章小結(jié)209
第6章　RocketMQ的ACL210
6.1　什么是ACL210
6.2　如何使用ACL211
6.2.1　Broker端開(kāi)啟ACL211
6.2.2　客戶端使用ACL212
6.3　ACL實(shí)現(xiàn)原理214
6.3.1　Broker端ACL核心入口214
6.3.2　PlainAccessValidator詳解216
6.3.3　PlainPermissionManager詳解220
6.3.4　AclClientRPCHook詳解228
6.4　本章小結(jié)231
第7章　RocketMQ主從同步機(jī)制232
7.1　RocketMQ主從同步原理232
7.1.1　HAService整體工作機(jī)制233
7.1.2　AcceptSocketService實(shí)現(xiàn)原理233
7.1.3　GroupTransferService實(shí)現(xiàn)原理235
7.1.4　HAClient實(shí)現(xiàn)原理236
7.1.5　HAConnection實(shí)現(xiàn)原理239
7.2　RocketMQ讀寫(xiě)分離機(jī)制245
7.3　RocketMQ元數(shù)據(jù)同步248
7.3.1　從節(jié)點(diǎn)主動(dòng)同步元數(shù)據(jù)249
7.3.2　主節(jié)點(diǎn)消息拉取主動(dòng)同步消費(fèi)進(jìn)度250
7.4　本章小結(jié)251
第8章　RocketMQ消息軌跡252
8.1　消息軌跡的引入目的和使用方法252
8.2　消息軌跡設(shè)計(jì)原理255
8.2.1　消息軌跡數(shù)據(jù)格式255
8.2.2　如何采集軌跡數(shù)據(jù)256
8.2.3　如何存儲(chǔ)消息軌跡數(shù)據(jù)257
8.3　消息軌跡實(shí)現(xiàn)原理257
8.3.1　尋找消息軌跡入口257
8.3.2　消息發(fā)送軌跡數(shù)據(jù)259
8.3.3　消息軌跡異步轉(zhuǎn)發(fā)實(shí)現(xiàn)機(jī)制261
8.4　本章小結(jié)265
第9章　RocketMQ主從切換266
9.1　主從切換引入目的266
9.2　Raft協(xié)議簡(jiǎn)介267
9.2.1　Leader選舉267
9.2.2　日志復(fù)制268
9.3　RocketMQ DLedger主從切換之Leader選主269
9.3.1　DLedgerLeaderElector核心類及核心屬性270
9.3.2　選舉狀態(tài)管理器初始化271
9.3.3　選舉狀態(tài)機(jī)狀態(tài)流轉(zhuǎn)273
9.3.4　發(fā)送投票請(qǐng)求與處理投票請(qǐng)求280
9.3.5　發(fā)送心跳包與處理心跳包283
9.4　RocketMQ DLedger主從切換之存儲(chǔ)實(shí)現(xiàn)288
9.4.1　RocketMQ DLedger核心類及核心屬性288
9.4.2　RocketMQ DLedger數(shù)據(jù)存儲(chǔ)協(xié)議290
9.4.3　RocketMQ DLedger索引存儲(chǔ)協(xié)議291
9.5　RocketMQ DLedger主從切換之日志追加291
9.5.1　日志追加流程概述291
9.5.2　判斷Push隊(duì)列是否已滿293
9.5.3　Leader節(jié)點(diǎn)日志存儲(chǔ)293
9.5.4　Leader節(jié)點(diǎn)等待從節(jié)點(diǎn)日志復(fù)制響應(yīng)ACK298
9.6　RocketMQ DLedger主從切換之日志復(fù)制299
9.6.1　日志復(fù)制設(shè)計(jì)理念300
9.6.2　日志復(fù)制類設(shè)計(jì)體系301
9.6.3　日志轉(zhuǎn)發(fā)303
9.7　RocketMQ整合DLedger設(shè)計(jì)技巧與實(shí)現(xiàn)原理326
9.7.1　數(shù)據(jù)存儲(chǔ)兼容設(shè)計(jì)327
9.7.2　數(shù)據(jù)存儲(chǔ)兼容實(shí)現(xiàn)原理328
9.7.3　主從切換元數(shù)據(jù)同步機(jī)制337
9.8　RocketMQ主從切換實(shí)戰(zhàn)344
9.8.1　主從切換核心配置屬性344
9.8.2　搭建主從同步環(huán)境344
9.8.3　主從同步集群升級(jí)到主從切換346
9.9　本章小結(jié)350
第10章　RocketMQ監(jiān)控352
10.1　設(shè)計(jì)理念352
10.2　實(shí)現(xiàn)原理353
10.2.1　監(jiān)控相關(guān)類圖353
10.2.2　監(jiān)控原始數(shù)據(jù)采集流程355
10.3　監(jiān)控?cái)?shù)據(jù)采樣機(jī)制356
10.3.1　監(jiān)控?cái)?shù)據(jù)采樣356
10.3.2　根據(jù)采樣計(jì)算統(tǒng)計(jì)指標(biāo)357
10.4　如何采集監(jiān)控指標(biāo)359
10.5　監(jiān)控實(shí)戰(zhàn)應(yīng)用360
10.6　本章小結(jié)365
第11章　RocketMQ實(shí)戰(zhàn)366
11.1　消息批量發(fā)送366
11.2　消息發(fā)送隊(duì)列自選擇367
11.3　消息過(guò)濾368
11.3.1　TAG過(guò)濾模式368
11.3.2　SQL過(guò)濾模式368
11.3.3　類過(guò)濾模式369
11.4　事務(wù)消息371
11.5　Spring整合RocketMQ375
11.6　Spring Cloud整合RocketMQ376
11.7　RocketMQ監(jiān)控與運(yùn)維命令384
11.7.1　搭建RocketMQ監(jiān)控平臺(tái)rocketmq-console384
11.7.2　RocketMQ管理命令387
11.8　應(yīng)用場(chǎng)景分析423
11.9　實(shí)戰(zhàn)案例424
11.9.1　RocketMQ集群線上故障縮容實(shí)戰(zhàn)案例424
11.9.2　RocketMQ在線擴(kuò)容實(shí)戰(zhàn)427
11.10　本章小結(jié)430