Apache Spark源碼剖析

第一部分Spark概述1 第1章初識Spark   3 1.1 大數(shù)據(jù)和Spark 3 1.1.1 大數(shù)據(jù)的由來4 1.1.2 大數(shù)據(jù)的分析4 1.1.3 Hadoop 5 1.1.4 Spark簡介6 1.2 與Spark的第一次親密接觸7 1.2.1 環(huán)境準備7 1.2.2 下載安裝Spark 8 1.2.3 Spark下的WordCount 8 第二部分Spark核心概念13 第2章Spark整體框架 15 2.1 編程模型15 2.1.1 RDD 17 2.1.2 Operation 17 2.2 運行框架18 2.2.1 作業(yè)提交18 2.2.2 集群的節(jié)點構(gòu)成18 2.2.3 容錯處理19 2.2.4 為什么是Scala 19 2.3 源碼閱讀環(huán)境準備19 2.3.1 源碼下載及編譯19 2.3.2 源碼目錄結(jié)構(gòu)21 2.3.3 源碼閱讀工具21 2.3.4 本章小結(jié)22 第3章SparkContext初始化 23 3.1 spark-shell 23 3.2 SparkContext的初始化綜述27 3.3 Spark Repl綜述30 3.3.1 Scala Repl執(zhí)行過程31 3.3.2 Spark Repl 32 第4章Spark作業(yè)提交 33 4.1 作業(yè)提交33 4.2 作業(yè)執(zhí)行38 4.2.1 依賴性分析及Stage劃分39 4.2.2 Actor Model和Akka 46 4.2.3 任務(wù)的創(chuàng)建和分發(fā)47 4.2.4 任務(wù)執(zhí)行53 4.2.5 Checkpoint和Cache 62 4.2.6 WebUI和Metrics 62 4.3 存儲機制71 4.3.1 Shuffle結(jié)果的寫入和讀取71 4.3.2 Memory Store 80 4.3.3 存儲子模塊啟動過程分析81 4.3.4 數(shù)據(jù)寫入過程分析82 4.3.5 數(shù)據(jù)讀取過程分析84 4.3.6 TachyonStore 88 第5章部署方式分析 91 5.1 部署模型91 5.2 單機模式local 92 5.3 偽集群部署local-cluster 93 5.4 原生集群Standalone Cluster 95 5.4.1 啟動Master 96 5.4.2 啟動Worker 97 5.4.3 運行spark-shell 102 5.4.4 容錯性分析106 5.5 Spark On YARN 112 5.5.1 YARN的編程模型112 5.5.2 YARN中的作業(yè)提交112 5.5.3 Spark On YARN實現(xiàn)詳解113 5.5.4 SparkPi on YARN 122 第三部分Spark Lib 129 第6章Spark Streaming  131 6.1 Spark Streaming整體架構(gòu)131 6.1.1 DStream 132 6.1.2 編程接口133 6.1.3 Streaming WordCount 134 6.2 Spark Streaming執(zhí)行過程135 6.2.1 StreamingContext初始化過程136 6.2.2 數(shù)據(jù)接收141 6.2.3 數(shù)據(jù)處理146 6.2.4 BlockRDD 155 6.3 窗口操作158 6.4 容錯性分析159 6.5 Spark Streaming vs. Storm 165 6.5.1 Storm簡介165 6.5.2 Storm和Spark Streaming對比168 6.6 應(yīng)用舉例168 6.6.1 搭建Kafka Cluster 168 6.6.2 KafkaWordCount 169 第7章SQL   173 7.1 SQL語句的通用執(zhí)行過程分析175 7.2 SQL On Spark的實現(xiàn)分析178 7.2.1 SqlParser 178 7.2.2 Analyzer 184 7.2.3 Optimizer 191 7.2.4 SparkPlan 192 7.3 Parquet 文件和JSON數(shù)據(jù)集196 7.4 Hive簡介197 7.4.1 Hive 架構(gòu)197 7.4.2 HiveQL On MapReduce執(zhí)行過程分析199 7.5 HiveQL On Spark詳解200 7.5.1 Hive On Spark環(huán)境搭建206 7.5.2 編譯支持Hadoop 2.x的Spark 211 7.5.3 運行Hive On Spark測試用例213 第8章GraphX  215 8.1 GraphX簡介215 8.1.1 主要特點216 8.1.2 版本演化216 8.1.3 應(yīng)用場景217 8.2 分布式圖計算處理技術(shù)介紹218 8.2.1 屬性圖218 8.2.2 圖數(shù)據(jù)的存儲與分割219 8.3 Pregel計算模型220 8.3.1 BSP 220 8.3.2 像頂點一樣思考220 8.4 GraphX圖計算框架實現(xiàn)分析223 8.4.1 基本概念223 8.4.2 圖的加載與構(gòu)建226 8.4.3 圖數(shù)據(jù)存儲與分割227 8.4.4 操作接口228 8.4.5 Pregel在GraphX中的源碼實現(xiàn)230 8.5 PageRank 235 8.5.1 什么是PageRank 235 8.5.2 PageRank核心思想235 第9章MLLib   239 9.1 線性回歸239 9.1.1 數(shù)據(jù)和估計240 9.1.2 線性回歸參數(shù)求解方法240 9.1.3 正則化245 9.2 線性回歸的代碼實現(xiàn)246 9.2.1 簡單示例246 9.2.2 入口函數(shù)train 247 9.2.3 最優(yōu)化算法optimizer 249 9.2.4 權(quán)重更新update 256 9.2.5 結(jié)果預(yù)測predict 257 9.3 分類算法257 9.3.1 邏輯回歸258 9.3.2 支持向量機260 9.4 擬牛頓法261 9.4.1 數(shù)學(xué)原理261 9.4.2 代碼實現(xiàn)265 9.5 MLLib與其他應(yīng)用模塊間的整合268 第四部分附錄271 附錄A Spark源碼調(diào)試 273 附錄B 源碼閱讀技巧 283