顛覆大數(shù)據(jù)分析：基于Storm、Spark等Hadoop替代技術的實時應用

前言.............. X
致謝........... XIII
關于作者 .. XVII

1引言：為什么要超越 Hadoop Map-Reduce ................. 1

Hadoop的適用范圍 ............................ 3
大數(shù)據(jù)分析之機器學習實現(xiàn)的革命 10
第一代機器學習工具 /范式 ........11
第二代機器學習工具 /范式 ........11
第三代機器學習工具 /范式 ....... 14
小結.................... 18
參考文獻 ............ 19

2何為伯克利數(shù)據(jù)分析棧（BDAS） .............................. 23

實現(xiàn) BDAS的動機 ........................... 24
Spark：動機 .............................. 25
Shark：動機 .............................. 26
Mesos：動機 ............................. 28
BDAS的設計及架構 ........................ 29
Spark：高效的集群數(shù)據(jù)處理的范式 ............................... 34
Spark的彈性分布式數(shù)據(jù)集 ...... 36
Spark的實現(xiàn) ............................. 40
Spark VS. 分布式共享內(nèi)存系統(tǒng) .............................. 42
RDD的表達性 .......................... 44
類似 Spark的系統(tǒng) .................... 45
Shark：分布式系統(tǒng)上的 SQL接口 . 46
Spark為 Shark提供的擴展 ...... 47
列內(nèi)存存儲 49
分布式數(shù)據(jù)加載 ........................ 50
完全分區(qū)智能連接 .................... 50
分區(qū)修剪 .... 50
機器學習的支持 ........................ 51
Mesos：集群調(diào)度及管理系統(tǒng) ......... 51
Mesos組件 52
資源分配 .... 54
隔離 ............ 55
容錯性 ........ 57
小結.................... 58
參考文獻 ............ 59

使用 Spark實現(xiàn)機器學習算法 .... 66

機器學習基礎知識 ............................ 66
機器學習：隨機森林示例 ........ 68
邏輯回歸：概述 72
二元形式的邏輯回歸 ................ 73
邏輯回歸估計 ............................ 75
多元邏輯回歸 ............................ 76
Spark中的邏輯回歸算法 ................. 77
支持向量機 ........ 80
復雜決策面 81
支持向量機背后的數(shù)學原理 .... 82
Spark中的支持向量機 ............. 84
Spark對 PMML的支持 .................... 85
PMML結構 ............................... 87
PMML的生產(chǎn)者及消費者 ....... 92
Spark對樸素貝葉斯的 PMML支持 ........................ 94
Spark對線性回歸的 PMML支持 ............................ 95
在 Spark中使用 MLbase進行機器學習 .......................... 97
參考文獻 ............ 99

實現(xiàn)實時的機器學習算法.......... 101

Storm簡介 ....... 101
數(shù)據(jù)流 ...... 103
拓撲 .......... 104
Storm集群 ............................... 105
簡單的實時計算例子 .............. 106
數(shù)據(jù)流組 .. 108
Storm的消息處理擔保 ........... 109
基于 Storm的設計模式 ................... 111
分布式遠程過程調(diào)用 ............... 111
Trident：基于 Storm的實時聚合 ............................115
實現(xiàn)基于 Storm的邏輯回歸算法 ...116
實現(xiàn)基于 Storm的支持向量機算法 .............................. 120
Storm對樸素貝葉斯 PMML的支持 ............................. 122
實時分析的應用 .............................. 126
工業(yè)日志分類 .......................... 126
互聯(lián)網(wǎng)流量過濾器 .................. 130
Storm的替代品 ....................... 131
Spark流 ........... 133
D-Streams的動機 .................... 133
參考文獻 .......... 135

圖處理范式 138

Pregel：基于 BSP的圖處理框架 ... 139
類似的做法 .............................. 141
開源的 Pregel實現(xiàn) ......................... 143
Giraph ...... 143
GoldenORB .............................. 145
Phoebus .................................... 145
Apache Hama........................... 146
Stanford GPS............................ 146
GraphLab ......... 147
GraphLab：多核版本 .............. 148

分布式的 GraphLab ................. 150
PowerGraph ............................. 152
通過 GraphLab實現(xiàn)網(wǎng)頁排名算法 ........................ 156
頂點程序 .. 158
基于 GraphLab實現(xiàn)隨機梯度下降算法 ................ 163
參考文獻 .......... 167

結論：超越Hadoop Map-Reduce的大數(shù)據(jù)分析.......... 171
Hadoop YARN概覽 ........................ 172
Hadoop YARN的動機 ............ 172
作為資源調(diào)度器的 YARN ...... 174
YARN上的其他框架 ...................... 175
大數(shù)據(jù)分析的未來是怎樣的 .......... 177
參考文獻 .......... 180

附錄 A代碼筆記 .......................... 182