云計算（第三版）

第1章  大數(shù)據(jù)與云計算 1
1.1  大數(shù)據(jù)時代 1
1.2  云計算——大數(shù)據(jù)的計算 3
1.3  云計算發(fā)展現(xiàn)狀 6
1.4  云計算實現(xiàn)機制 7
1.5  云計算壓倒性的成本優(yōu)勢 9
習題 12
參考文獻 12
第2章  Google云計算原理與應用 13
2.1  Google文件系統(tǒng)GFS 13
2.1.1  系統(tǒng)架構(gòu) 14
2.1.2  容錯機制 16
2.1.3  系統(tǒng)管理技術(shù) 17
2.2  分布式數(shù)據(jù)處理MapReduce 17
2.2.1  產(chǎn)生背景 17
2.2.2  編程模型 18
2.2.3  實現(xiàn)機制 19
2.2.4  案例分析 20
2.3  分布式鎖服務(wù)Chubby 22
2.3.1  Paxos算法 23
2.3.2  Chubby系統(tǒng)設(shè)計 24
2.3.3  Chubby中的Paxos 26
2.3.4  Chubby文件系統(tǒng) 28
2.3.5  通信協(xié)議 29
2.3.6  正確性與性能 31
2.4  分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable 32
2.4.1  設(shè)計動機與目標 32
2.4.2  數(shù)據(jù)模型 33
2.4.3  系統(tǒng)架構(gòu) 34
2.4.4  主服務(wù)器 35
2.4.5  子表服務(wù)器 36
2.4.6  性能優(yōu)化 40
2.5  分布式存儲系統(tǒng)Megastore 41
2.5.1  設(shè)計目標及方案選擇 41
2.5.2  Megastore數(shù)據(jù)模型 42
2.5.3  Megastore中的事務(wù)及并發(fā)控制 44
2.5.4  Megastore基本架構(gòu) 45
2.5.5  核心技術(shù)——復制 47
2.5.6  產(chǎn)品性能及控制措施 51
2.6  大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper 52
2.6.1  基本設(shè)計目標 52
2.6.2  Dapper監(jiān)控系統(tǒng)簡介 53
2.6.3  關(guān)鍵性技術(shù) 56
2.6.4  常用Dapper工具 57
2.6.5  Dapper使用經(jīng)驗 59
2.7  海量數(shù)據(jù)的交互式分析工具Dremel 61
2.7.1  產(chǎn)生背景 61
2.7.2  數(shù)據(jù)模型 62
2.7.3  嵌套式的列存儲 63
2.7.4  查詢語言與執(zhí)行 68
2.7.5  性能分析 70
2.7.6  小結(jié) 71
2.8  內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill 71
2.8.1  產(chǎn)生背景與設(shè)計目標 71
2.8.2  基本數(shù)據(jù)結(jié)構(gòu) 72
2.8.3  性能優(yōu)化 73
2.8.4  性能分析與對比 75
2.9  Google應用程序引擎 76
2.9.1  Google App Engine簡介 77
2.9.2  應用程序環(huán)境 78
2.9.3  Google App Engine服務(wù) 80
習題 88
參考文獻 88
第3章  Amazon云計算AWS 90
3.1  基礎(chǔ)存儲架構(gòu)Dynamo 90
3.1.1  Dynamo概況 90
3.1.2  Dynamo架構(gòu)的主要技術(shù) 91
3.2  彈性計算云EC2 99
3.2.1  EC2的基本架構(gòu) 99
3.2.2  EC2的關(guān)鍵技術(shù) 100
3.2.3  EC2的安全及容錯機制 102
3.3  簡單存儲服務(wù)S3 103
3.3.1  S3的基本概念和操作 103
3.3.2  S3的數(shù)據(jù)一致性模型 105
3.3.3  S3的安全措施 105
3.4  非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB 108
3.4.1  非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)關(guān)系數(shù)據(jù)庫的比較 108
3.4.2  SimpleDB 108
3.4.3  DynamoDB 110
3.4.4  SimpleDB和DynamoDB的比較 111
3.5  關(guān)系數(shù)據(jù)庫服務(wù)RDS 111
3.5.1  RDS的基本原理 111
3.5.2  RDS的使用 112
3.6  簡單隊列服務(wù)SQS 113
3.6.1  SQS的基本模型 113
3.6.2  SQS的消息 114
3.7  內(nèi)容推送服務(wù)CloudFront 115
3.7.1  CDN 116
3.7.2  CloudFront 117
3.8  其他Amazon云計算服務(wù) 119
3.8.1  快速應用部署Elastic Beanstalk和服務(wù)模板CloudFormation 119
3.8.2  DNS服務(wù)Router 53 120
3.8.3  虛擬私有云VPC 120
3.8.4  簡單通知服務(wù)和簡單郵件服務(wù) 120
3.8.5  彈性MapReduce服務(wù) 121
3.8.6  電子商務(wù)服務(wù)DevPay、FPS和Simple Pay 122
3.8.7  Amazon執(zhí)行網(wǎng)絡(luò)服務(wù) 127
3.8.8  土耳其機器人 128
3.8.9  數(shù)據(jù)倉庫服務(wù)Redshift 129
3.8.10  應用流服務(wù)AppStream和數(shù)據(jù)流分析服務(wù)Kinesis 129
3.9  AWS應用實例 130
3.9.1  照片和視頻共享網(wǎng)站SmugMug 130
3.9.2  視頻制作網(wǎng)站Animoto 131
3.9.3  網(wǎng)站排名Alexa 132
3.10  小結(jié) 132
習題 132
參考文獻 133
第4章  微軟云計算Windows Azure 136
4.1  微軟云計算平臺 136
4.2  微軟云操作系統(tǒng)Windows Azure 137
4.2.1  Windows Azure概述 137
4.2.2  Windows Azure計算服務(wù) 138
4.2.3  Windows Azure存儲服務(wù) 140
4.2.4  Windows Azure Connect 147
4.2.5  Windows Azure CDN 148
4.2.6  Fabric控制器 149
4.3  微軟云關(guān)系數(shù)據(jù)庫SQL Azure 150
4.3.1  SQL Azure概述 150
4.3.2  SQL Azure關(guān)鍵技術(shù) 151
4.3.3  SQL Azure和SQL Server對比 153
4.4  Windows Azure AppFabric 154
4.4.1  AppFabric概述 154
4.4.2  AppFabric關(guān)鍵技術(shù) 155
4.5  Windows Azure Marketplace 159
4.6  Windows Azure服務(wù)平臺 160
4.6.1  網(wǎng)站 160
4.6.2  虛擬機 161
4.6.3  云服務(wù) 162
4.6.4  移動服務(wù) 163
4.6.5  大數(shù)據(jù)處理 164
4.6.6  媒體支持 165
習題 166
參考文獻 166
第5章  Hadoop 2.0：主流開源云架構(gòu) 168
5.1  引例 168
5.1.1  問題概述 168
5.1.2  常規(guī)解決方案 168
5.1.3  分布式下的解決方案 169
5.1.4  小結(jié) 173
5.2  Hadoop 2.0簡述 173
5.2.1  Hadoop 2.0由來 173
5.2.2  Hadoop 2.0相關(guān)項目 174
5.2.3  Hadoop應用 175
5.3  Hadoop 2.0部署 175
5.3.1  部署綜述 175
5.3.2  傳統(tǒng)解壓包部署 179
5.4  Hadoop 2.0體系架構(gòu) 182
5.4.1  Hadoop 2.0公共組件Common 182
5.4.2  分布式文件系統(tǒng)HDFS 184
5.4.3  分布式操作系統(tǒng)Yarn 190
5.4.4  Hadoop 2.0安全機制簡介 198
5.5  Hadoop 2.0訪問接口 199
5.5.1  訪問接口綜述 199
5.5.2  瀏覽器接口 199
5.5.3  命令行接口 200
5.6  Hadoop 2.0編程接口 202
5.6.1  HDFS 編程 202
5.6.2  Yarn編程 205
習題 214
參考文獻 214
第6章  Hadoop 2.0大家族 215
6.1  Hadoop 2.0大家族概述 215
6.1.1  分布式組件 215
6.1.2  部署概述 217
6.2  ZooKeeper 223
6.2.1  ZooKeeper簡介 223
6.2.2  ZooKeeper 入門 224
6.3  Hbase 226
6.3.1  Hbase簡介 226
6.3.2  Hbase入門 229
6.4  Pig 232
6.4.1  Pig簡介 232
6.4.2  Pig入門 233
6.5  Hive 234
6.5.1  Hive簡介 234
6.5.2  Hive入門 235
6.6  Oozie 238
6.6.1  Oozie簡介 238
6.6.2  Oozie入門 238
6.7  Flume 241
6.7.1  Flume簡介 241
6.7.2  Flume入門 243
6.8  Mahout 246
6.8.1  Mahout簡介 246
6.8.2  Mahout入門 246
6.9  小結(jié) 247
習題 248
參考文獻 248
第7章  虛擬化技術(shù) 250
7.1  虛擬化技術(shù)簡介 250
7.2  服務(wù)器虛擬化 251
7.2.1  服務(wù)器虛擬化的層次 251
7.2.2  服務(wù)器虛擬化的底層實現(xiàn) 252
7.2.3  虛擬機遷移 253
7.2.4  隔離技術(shù) 256
7.2.5  案例分析 257
7.3  存儲虛擬化 258
7.3.1  存儲虛擬化的一般模型 258
7.3.2  存儲虛擬化的實現(xiàn)方式 259
7.3.3  案例分析 260
7.4  網(wǎng)絡(luò)虛擬化 262
7.4.1  核心層網(wǎng)絡(luò)虛擬化 262
7.4.2  接入層網(wǎng)絡(luò)虛擬化 262
7.4.3  虛擬機網(wǎng)絡(luò)虛擬化 262