大數(shù)據(jù)平臺應(yīng)用

第1章 感知大數(shù)據(jù)\t1
任務(wù)1 認(rèn)知大數(shù)據(jù)\t1
子任務(wù)1 定義大數(shù)據(jù)\t2
子任務(wù)2 洞悉大數(shù)據(jù)的特征\t2
任務(wù)2 探究大數(shù)據(jù)常用的技術(shù)\t3
任務(wù)3 窺視大數(shù)據(jù)的商業(yè)應(yīng)用\t4
課后練習(xí)\t5
第2章 環(huán)視Hadoop\t6
任務(wù)1 溯源Hadoop\t6
子任務(wù)1 較量Hadoop與傳統(tǒng)文件系統(tǒng)\t8
子任務(wù)2 發(fā)現(xiàn)Hadoop的核心和特點(diǎn)\t9
子任務(wù)3 初訪MapReduce\t10
任務(wù)2 查究Hadoop分布式文件系統(tǒng)\t12
子任務(wù)1 探究HDFS工作機(jī)制\t12
子任務(wù)2 厘清HDFS的前提和設(shè)計(jì)目標(biāo)\t15
子任務(wù)3 深挖HDFS的核心機(jī)制\t19
任務(wù)3 構(gòu)建MapReduce編程模型\t22
子任務(wù)1 解構(gòu)MapReduce編程模型\t22
子任務(wù)2 揭秘YARN與MapReduce\t24
任務(wù)4 漫游Hadoop系統(tǒng)及其生態(tài)圈\t25
課后練習(xí)\t32
第3章 部署Hadoop大數(shù)據(jù)平臺\t34
任務(wù)1 掌控Hadoop平臺的部署模式\t34
任務(wù)2 部署Hadoop集群\t36
任務(wù)3 編寫首個(gè)MapReduce程序\t59
任務(wù)4 初次運(yùn)行MapReduce程序\t60
課后練習(xí)\t64
本章附錄\t65
第4章 設(shè)計(jì)爬蟲獲取數(shù)據(jù)源\t69
任務(wù)1 初探大數(shù)據(jù)\t69
任務(wù)2 剖析大數(shù)據(jù)\t74
任務(wù)3 爬取大數(shù)據(jù)\t76
任務(wù)4 活用Scrapy框架高效編制爬蟲\t79
任務(wù)5 運(yùn)用Scrapy\t81
課后練習(xí)\t89
第5章 清洗數(shù)據(jù)與存儲結(jié)構(gòu)化\t91
任務(wù)1 揭示數(shù)據(jù)清洗\t91
任務(wù)2 清洗數(shù)據(jù)\t92
子任務(wù)1 熟知數(shù)據(jù)的基本操作\t92
子任務(wù)2 處理數(shù)據(jù)缺失\t94
子任務(wù)3 規(guī)范化數(shù)據(jù)\t96
子任務(wù)4 處理數(shù)據(jù)表結(jié)構(gòu)的錯(cuò)誤\t97
子任務(wù)5 處理日期數(shù)據(jù)的問題\t102
任務(wù)3 使用分布式數(shù)據(jù)庫系統(tǒng)和結(jié)構(gòu)存儲數(shù)據(jù)\t104
子任務(wù)1 安裝并使用Hive數(shù)據(jù)倉庫\t104
子任務(wù)2 安裝并使用HBase分布式數(shù)據(jù)庫\t110
課后練習(xí)\t114
第6章 分析大數(shù)據(jù)\t115
任務(wù)1 透視數(shù)據(jù)分析\t115
任務(wù)2 構(gòu)建分析模型\t116
子任務(wù)1 厘清數(shù)據(jù)分析過程\t116
子任務(wù)2 數(shù)據(jù)機(jī)器學(xué)習(xí)模型\t117
任務(wù)3 運(yùn)用大數(shù)據(jù)分析算法分析數(shù)據(jù)\t119
子任務(wù)1 運(yùn)用K-Means聚類算法分析數(shù)據(jù)\t120
子任務(wù)2 運(yùn)用線性回歸算法分析數(shù)據(jù)\t123
子任務(wù)3 運(yùn)用決策樹算法分析數(shù)據(jù)\t127
課后練習(xí)\t130
第7章 可視化大數(shù)據(jù)\t131
任務(wù)1 洞察pyecharts庫\t131
任務(wù)2 活用可視化\t132
子任務(wù)1 活用柱狀圖/條形圖（Bar）\t132
子任務(wù)2 活用散點(diǎn)圖（EffectScatter）\t139
子任務(wù)3 活用漏斗圖（Funnel）\t142
子任務(wù)4 活用儀表盤（Gauge）\t143
子任務(wù)5 活用地理坐標(biāo)圖（Geo）\t144
子任務(wù)6 活用關(guān)系圖（Graph）\t145
子任務(wù)7 活用熱力圖（HeatMap）\t148
子任務(wù)8 活用K線圖（Kline/Candlestick）\t150
子任務(wù)9 活用折線圖/面積圖（Line）\t152
子任務(wù)10 活用水球圖（Liquid）\t153
子任務(wù)11 活用地圖（Map）\t154
子任務(wù)12 活用餅圖（Pie）\t155
子任務(wù)13 活用平行坐標(biāo)系（Parallel）\t156
子任務(wù)14 活用雷達(dá)圖（Radar）\t159
子任務(wù)15 活用詞云（WordCloud）圖\t160
課后練習(xí)\t161
第8章 平臺化快速部署Hadoop\t163
任務(wù)1 探尋大數(shù)據(jù)管理平臺\t163
任務(wù)2 配置基礎(chǔ)環(huán)境\t165
子任務(wù)1 配置Linux系統(tǒng)\t165
子任務(wù)2 禁用Transparent Huge Pages\t169
子任務(wù)3 安裝并配置JDK\t170
任務(wù)3 安裝并配置Ambari\t170
任務(wù)4 快速部署Hadoop大數(shù)據(jù)集群\t173
課后練習(xí)\t178
附錄A 課后練習(xí)參考答案\t179