Mesos大數(shù)據(jù)資源調(diào)度與大規(guī)模容器運(yùn)行最佳實(shí)踐

前言 xiv
第1章運(yùn)行Mesos 1
1.1 現(xiàn)代數(shù)據(jù)中心 1
1.2 集群計(jì)算框架 2
1.3 Mesos簡(jiǎn)介 2
1.3.1 master 3
1.3.2 slave 4
1.3.3 框架 4
1.4 為什么使用Mesos 4
1.5 單節(jié)點(diǎn)Mesos集群 5
1.5.1 Mac OS 5
1.5.2 Fedora 6
1.5.3 安裝依賴軟件包 6
1.5.4 構(gòu)建Mesos 8
1.5.5 啟動(dòng)Mesos 10
1.6 運(yùn)行測(cè)試框架 11
1.7 Mesos Web UI 15
1.8 多節(jié)點(diǎn)Mesos集群 15
1.9 Amazon EC2 上的Mesos集群 16
1.10 使用 Vagrant 運(yùn)行Mesos 18
1.11 Mesos社區(qū) 19
1.11.1 案例研究 19
1.11.2 郵件列表 20
1.12小結(jié) 20
第 2 章在Mesos上運(yùn)行 Hadoop 21
2.1 Hadoop 介紹 21
2.2 Mesos上的 Hadoop 22
2.3 在Mesos上安裝 Hadoop 23
2.4 Hadoop 作業(yè)示例 26
2.5 Mesos上 Hadoop 的高級(jí)配置 27
2.5.1 任務(wù)資源分配 27
2.5.2 度量報(bào)告 29
2.5.3 認(rèn)證 32
2.5.4 容器隔離 33
2.5.5 其他配置參數(shù) 33
2.6 小結(jié) 34
第 3 章在Mesos上運(yùn)行 Spark 35
3.1 Spark 介紹 35
3.2 Spark 作業(yè)調(diào)度 36
3.3 Spark Standalone模式 38
3.4 在Mesos上的 Spark 40
3.5 在Mesos上 Spark 的調(diào)優(yōu) 41
3.6 小結(jié) 43
第 4 章Mesos上的復(fù)雜數(shù)據(jù)分析44
4.1 復(fù)雜數(shù)據(jù)和 Lambda 架構(gòu)的興起 44
4.2 Storm 46
4.2.1 Mesos上的 Storm 47
4.2.2 Storm-Mesos配置 49
4.3 Spark Streaming 50
4.3.1 在Mesos上運(yùn)行 Spark Streaming 52
4.3.2 Spark Streaming 調(diào)優(yōu) 53
4.4 Mesos上的 NoSQL 55
4.4.1 Mesos上的 Cassandra 55
4.5 小結(jié) 57
第 5 章在Mesos上運(yùn)行服務(wù) 59
5.1 服務(wù)的介紹 59
5.2 Marathon 60
5.2.1 Marathon API 61
5.2.2運(yùn)行 Marathon 62
5.2.3 Marathon 樣例 63
5.2.4約束條件 65
5.2.5事件總線 66
5.2.6 artifact store 66
5.2.7應(yīng)用組 66
5.2.8應(yīng)用程序健康檢查 67
5.3 Chronos 68
5.3.1 Chronos REST API 68
5.3.2運(yùn)行Chronos 70
5.3.3 Chronos樣例 71
5.4 Aurora 71
5.4.1 作業(yè)的生命周期 73
5.4.2運(yùn)行 Aurora 74
5.4.3 Aurora 集群配置 75
5.4.4 Aurora 作業(yè)配置 76
5.4.5 Aurora 客戶端 80
5.4.6 Aurora 樣例 82
5.4.7 Aurora cron作業(yè) 83
5.5 服務(wù)發(fā)現(xiàn) 83
5.5.1 Mesos-DNS 83
5.5.2安裝Mesos-DNS 84
5.5.3 Mesos-DNS 配置 85
5.5.4運(yùn)行Mesos-DNS 86
5.6 打包 87
5.7 小結(jié) 87
第 6 章理解Mesos內(nèi)部機(jī)制 88
6.1Mesos架構(gòu) 88
6.1.1 Mesos slave 90
6.1.2 Mesos master 91
6.1.3框架 92
6.1.4通信 92
6.1.5附屬服務(wù) 93
6.2 資源分配 94
6.2.1 Mesos調(diào)度器 95
6.2.2 加權(quán) DRF 96
6.2.3 資源預(yù)留 97
6.3 資源隔離 101
6.3.1 Mesos容器機(jī) 102
6.3.2 Docker 容器機(jī) 103
6.3.3 外部容器機(jī) 105
6.4 容錯(cuò) 107
6.4.1 ZooKeeper 108
6.4.2 故障檢測(cè)及處理 109
6.4.3 Registry 111
6.5 擴(kuò)展Mesos 112
6.5.1 Mesos模塊 112
6.5.2分配模塊 116
6.5.3 Mesos hook 和修飾器 119
6.5.4任務(wù)標(biāo)簽 119
6.6 小結(jié) 119
第 7 章開發(fā)Mesos框架 120
7.1 Mesos API 120
7.1.1 Mesos消息 121
7.1.2調(diào)度器 API 122
7.1.3調(diào)度器驅(qū)動(dòng) API 124
7.1.4執(zhí)行器 API 125
7.1.5調(diào)度器驅(qū)動(dòng) API 126
7.2 開發(fā)一個(gè)Mesos框架 127
7.2.1 搭建開發(fā)環(huán)境 127
7.2.2加入框架調(diào)度器 128
7.2.3加入框架啟動(dòng)器 130
7.2.4部署框架 131
7.3 構(gòu)建框架 133
7.3.1 給框架加入執(zhí)行器 137
7.3.2 更新框架調(diào)度器 141
7.3.3 運(yùn)行多個(gè)執(zhí)行器 144
7.4 高級(jí)主題 147
7.4.1 一致性調(diào)解 147
7.4.2 有狀態(tài)應(yīng)用 148
7.5 開發(fā)者資料 148
7.5.1 框架設(shè)計(jì)模式 149
7.5.2 框架測(cè)試 149
7.5.3 RENDLER 149
7.5.4 Akka-mesos 150
7.6 小結(jié) 150
第 8 章管理Mesos 151
8.1 部署 151
8.2 升級(jí) 152
8.3 監(jiān)控 153
8.3.1 容器網(wǎng)絡(luò)監(jiān)控 153
8.4 多租戶 155
8.4.1 授權(quán)和鑒權(quán) 155
8.4.2 API 速率限制 158
8.5 高可用 160
8.5.1 master 高可用 160
8.5.2 限制 slave 移除速率 162
8.5.3 slave 恢復(fù) 162
8.6 維護(hù)狀態(tài) 163
8.7 Mesos接口 165
8.7.1 Mesos REST 接口 165
8.7.2 Mesos CLI 167
8.8配置 170
8.8.1 Mesos master 171
8.8.2 Mesos slave 174
8.8.3 Mesos構(gòu)建選項(xiàng) 179
小結(jié) 181