深入集群：大型數(shù)據(jù)中心資源調(diào)度與管理

第1部分　集群調(diào)度
第1章　集群任務(wù)與集群資源調(diào)度 2
1.1　集群調(diào)度概述 2
1.1.1　層次關(guān)系 2
1.1.2　術(shù)語解釋 3
1.2　集群任務(wù)調(diào)度 5
1.2.1　問題背景 6
1.2.2　解決什么問題 6
1.2.3　一般解法 6
1.2.4　實(shí)踐案例 7
1.3　集群資源調(diào)度 8
1.3.1　資源調(diào)度解決什么問題 8
1.3.2　資源描述 9
1.3.3　如何調(diào)度資源 13
第2章　資源調(diào)度核心指標(biāo) 14
2.1　業(yè)務(wù)背景 14
2.1.1　縮容 15
2.1.2　擴(kuò)容 16
2.1.3　故障處理 18
2.1.4　負(fù)載均衡 20
2.1.5　宏觀評價(jià) 20
2.1.6　具體指標(biāo) 21
2.2　資源調(diào)度性能 23
2.3　資源調(diào)度成功率 25
2.4　資源分配率 26
2.5　資源實(shí)際利用率 29
2.5.1　資源宏觀利用率分布 30
2.5.2　分配不充分 31
2.5.3　負(fù)載不均衡 32
2.5.4　編排動態(tài)調(diào)整 33
2.6　資源利用率最優(yōu)剖析 33
2.6.1　解決什么問題 34
2.6.2　如何解決問題 35
2.6.3　案例分享 42
第3章　基本調(diào)度算法 51
3.1　裝箱算法 52
3.2　操作系統(tǒng)CFS調(diào)度 55
3.3　操作系統(tǒng)PV操作 62
3.4　Golang GMP模型 64
3.5　Kubernetes調(diào)度算法 93
3.5.1　資源數(shù)據(jù)定義 94
3.5.2　資源數(shù)據(jù)獲取 98
3.5.3　資源數(shù)據(jù)計(jì)算 102
3.5.4　資源扣減和一致性更新 106
3.5.5　資源分配常見算法 107
3.6　Hadoop調(diào)度算法 110
3.6.1　資源數(shù)據(jù)定義 111
3.6.2　資源數(shù)據(jù)獲取 111
3.6.3　資源數(shù)據(jù)計(jì)算 112
3.6.4　資源扣減和一致性更新 114
3.6.5　資源分配常見算法 116
3.7　“雙11”調(diào)度算法 118
3.7.1　問題和解決思路 118
3.7.2　架構(gòu)和關(guān)鍵實(shí)現(xiàn)抽象 124
3.8　云端資源調(diào)度算法 126
3.8.1　云服務(wù)提供商資源調(diào)度 126
3.8.2　混合云資源生產(chǎn)調(diào)度 127
3.9　單機(jī)資源調(diào)度 131
3.10　調(diào)度評測 134
3.10.1　設(shè)計(jì)和實(shí)施 135
3.10.2　開源模擬器 139
第4章　資源調(diào)度架構(gòu)設(shè)計(jì)和實(shí)踐 141
4.1　資源視圖下的架構(gòu)劃分 144
4.2　集群調(diào)度基本構(gòu)件 147
4.3　集群資源管理角度 150
4.3.1　面向過程的調(diào)度架構(gòu)設(shè)計(jì)和實(shí)踐 151
4.3.2　面向終態(tài)的調(diào)度架構(gòu)設(shè)計(jì)和實(shí)踐 151
4.3.3　面向服務(wù)的調(diào)度架構(gòu)設(shè)計(jì)和實(shí)踐 152
4.4　分層與垂直化分工協(xié)同 152
4.5　中心調(diào)度與單機(jī)調(diào)度定位 155
4.6　規(guī)模化、平臺化與個(gè)性化、場景化 156
4.7　解決問題優(yōu)先與架構(gòu)設(shè)計(jì)改進(jìn) 157

第2部分　集群管理
第5章　集群資源管理含義 159
5.1　集群資源管理解決什么問題 159
5.2　集群資源管理和資源調(diào)度的關(guān)系 160
5.3　集群資源管理一般怎么做 163
第6章　集群資源管理核心指標(biāo) 166
6.1　集群資源管理效能指標(biāo) 166
6.2　集群資源軟硬件故障率 167
6.3　集群資源可用率 168
6.4　集群資源分配率 169
6.5　集群資源利用率 170
第7章　集群資源管理常用策略 172
7.1　基礎(chǔ)設(shè)施鏡像化 172
7.2　統(tǒng)一資源池 173
7.3　標(biāo)簽化管理 174
7.3.1　標(biāo)簽設(shè)計(jì)原則 176
7.3.2　標(biāo)簽運(yùn)用 178
7.3.3　案例：Kubernetes的Label設(shè)計(jì)與使用管理 179
7.4　面向終態(tài)巡檢和一致性修復(fù) 180
7.4.1　面向終態(tài)巡檢 180
7.4.2　一致性修復(fù) 182
7.4.3　案例：Kubernetes的一致性修復(fù) 183
7.5　數(shù)據(jù)驅(qū)動 184
7.5.1　調(diào)度體系數(shù)據(jù)脈絡(luò) 185
7.5.2　數(shù)據(jù)體系構(gòu)建 185
7.5.3　案例：Kubernetes Insight 193
7.6　集群資源計(jì)收費(fèi) 194
7.6.1　計(jì)收費(fèi)流程 196
7.6.2　計(jì)費(fèi)模式 196
附錄A 199