微軟大數據解決方案

第Ⅰ部分 大數據的含義  第1章 行業(yè)需求與解決方案 3  1.1 何謂“大”數據 3  1.2 Hadoop簡史 4  1.2.1 Google 4  1.2.2 Nutch 5  1.3 Hadoop的概念 5  1.3.1 衍生品和分發(fā)版 6  1.3.2 Hadoop分發(fā)版 7  1.3.3 Hadoop生態(tài)系統(tǒng)的核心 8  1.3.4 Hadoop中的重要Apache項目 10  1.3.5 Hadoop的未來 14  1.4 本章小結 14  第2章 Microsoft大數據解決方法 15  2.1 “優(yōu)質組合”的故事 15  2.2 生態(tài)系統(tǒng)中的競爭 16  2.2.1 SQL on Hadoop現狀 16  2.2.2 Hortonworks和Stinger 16  2.2.3 Cloudera和Impala 18  2.2.4 Microsoft對Hadoop中SQL應用的貢獻 20  2.3 Hadoop的部署 20  2.3.1 部署要素 20  2.3.2 部署拓撲結構 23  2.3.3 部署計分卡 26  2.4 本章小結 28  第Ⅱ部分 使用Microsoft建立大數據  第3章 配置首個大數據環(huán)境 31  3.1 入門 31  3.2 開始安裝 32  3.3 安裝過程 32  3.3.1 本地安裝：單節(jié)點安裝 32  3.3.2 HDInsight服務：云端安裝 40  3.3.3 Windows Azure存儲管理器選項 41  3.4 驗證新集群 43  3.4.1 登錄HDInsight服務 43  3.4.2 通過日志驗證HDP功能 44  3.5 常見的安裝后任務 45  3.5.1 加載首個文件 45  3.5.2 驗證Hive和Pig 46  3.6 本章小結 50  第Ⅲ部分 存儲并管理大數據  第4章 HDFS、Hive、HBase和HCatalog 53  4.1 探討HDFS 53  4.1.1 HDFS體系結構闡述 54  4.1.2 與HDFS交互 57  4.2 探討Hive：Hadoop數據倉庫平臺 59  4.2.1 設計、構建和加載表 60  4.2.2 查詢數據 61  4.2.3 配置Hive ODBC驅動程序 61  4.3 探討HCatalog：HDFS表和元數據管理 62  4.4 探索HBase：面向列的HDFS數據庫 63  4.4.1 面向列的數據庫 63  4.4.2 定義和填充HBase表 65  4.4.3 使用查詢操作 66  4.5 本章小結 66  第5章 HDFS的數據存儲與管理 67  5.1 了解HDFS基本原理 67  5.1.1 HDFS體系結構 68  5.1.2 名稱節(jié)點和數據節(jié)點 69  5.1.3 數據復制 71  5.2 使用常用命令與HDFS進行交互 72  5.2.1 使用HDFS的界面 72  5.2.2 文件處理命令 74  5.2.3 HDFS的管理功能 76  5.3 在HDFS中移動和組織數據 78  5.3.1 在HDFS中移動數據 78  5.3.2 實現便于管理的數據結構 79  5.3.3 重新平衡數據 79  5.4 本章小結 80  第6章 添加Hive結構 81  6.1 理解Hive的作用和角色 82  6.1.1 為非結構化數據提供結構 82  6.1.2 啟用數據訪問與轉換 88  6.1.3 鑒別Hive與傳統(tǒng)RDBMS系統(tǒng) 88  6.1.4 使用Hive 89  6.2 創(chuàng)建和查詢基本表 90  6.2.1 創(chuàng)建數據庫 90  6.2.2 創(chuàng)建表 91  6.2.3 添加和刪除數據 94  6.2.4 查詢表 95  6.3 使用Hive的高級數據結構 97  6.3.1 設置分區(qū)表 97  6.3.2 加載分區(qū)表 99  6.3.3 使用視圖 100  6.3.4 創(chuàng)建表索引 100  6.4 本章小結 101  第7章 使用HBase和HCatalog來擴展功能 103  7.1 使用HBase 104  7.1.1 創(chuàng)建HBase表 104  7.1.2 將數據加載到HBase表 106  7.1.3 執(zhí)行快速查找 107  7.1.4 加載和查詢HBase 108  7.2 使用HCatalog管理數據 109  7.2.1 使用HCatalog和Hive 109  7.2.2 定義數據結構 110  7.2.3 建立索引 111  7.3 創(chuàng)建分區(qū) 111  7.4 HCatalog與Pig和Hive的集成 113  7.5 使用HBase或Hive作為數據倉庫 116  7.6 本章小結 117  第Ⅳ部分 使用大數據  第8章 使用SSIS、Pig和Sqoop  進行有效的大數據ETL 121  8.1 結合大數據與SQL Server工具獲取更優(yōu)解決方案 122  8.1.1 為何要移動數據 122  8.1.2 在Hadoop和SQL Server之間移動數據 123  8.2 使用SSIS和Hive 123  8.3 配置包 128  8.3.1 將數據加載到Hadoop 131  8.3.2 從SSIS獲得最 佳性能 132  8.4 使用Sqoop轉移數據 132  8.4.1 從SQL Server復制數據 133  8.4.2 將數據復制到SQL Server 135  8.5 使用Pig移動數據 135  8.5.1 使用Pig轉換數據 136  8.5.2 同時使用Pig和SSIS 138  8.6 選擇正確的工具 139  8.6.1 何時使用SSIS 139  8.6.2 何時使用Pig 139  8.6.3 何時使用Sqoop 139  8.7 本章小結 140  第9章 使用Pig和Hive進行數據研究和高級數據清理 141  9.1 了解Pig 141  9.1.1 使用Pig的時機 142  9.1.2 利用內置函數 142  9.1.3 執(zhí)行用戶自定義函數 143  9.1.4 使用UDF 144  9.1.5 為Pig創(chuàng)建專屬UDF 151  9.2 使用Hive 153  9.2.1 使用Hive進行數據分析 153  9.2.2 Hive函數類型 154  9.2.3 使用map—reduce腳本擴展Hive 155  9.2.4 創(chuàng)建自定義map—reduce腳本 158  9.2.5 為Hive創(chuàng)建專屬UFD 159  9.3 本章小結 161  第Ⅴ部分 大數據與SQL Server的整合  第10章 數據倉庫與Hadoop整合 165  10.1 行業(yè)狀況 166  10.2 傳統(tǒng)數據倉庫架構面臨的挑戰(zhàn) 166  10.2.1 技術制約 167  10.2.2 業(yè)務挑戰(zhàn) 171  10.3 Hadoop在數據倉庫市場上的影響 173  10.3.1 保持一切 173  10.3.2 代碼優(yōu)先（模式延后） 174  10.3.3 塑造價值 175  10.3.4 計算問題 176  10.4 介紹并行數據倉庫 176  10.4.1 何謂PDW 177  10.4.2 PDW為什么重要 178  10.4.3 PDW的工作方式 180  10.5 Polybase項目 188  10.5.1 Polybase架構 188  10.5.2 當今Polybase的商業(yè)案例 199  10.5.3 預測Polybase的未來 201  10.6 本章小結 204  第11章 使用Windows BI呈現大數據 205  11.1 工具生態(tài)系統(tǒng) 205  11.1.1 Excel 206  11.1.2 PowerPivot 206  11.1.3 Power View 207  11.1.4 Power Map 207  11.1.5 報表服務 208  11.2 使用PowerPivot的自助式大數據 210  11.2.1 設置ODBC驅動程序 210  11.2.2 加載數據 211  11.2.3 更新模型 217  11.2.4 添加度量標準 218  11.2.5 創(chuàng)建數據透視表 218  11.3 使用Power View加速大數據探索 220  11.4 使用Power Map的快速空間探索 224  11.5 本章小結 225  第12章 大數據分析 227  12.1 數據科學、數據挖掘與預測分析 227  12.1.1 數據挖掘 227  12.1.2 預測分析 228  12.2 Mahout介紹 229  12.3 構建一個推薦引擎 230  12.3.1 開始 231  12.3.2 運行用戶到用戶推薦作業(yè) 232  12.3.3 運行項目到項目推薦作業(yè) 234  12.4 本章小結 235  第13章 大數據與云 237  13.1 定義云 237  13.2 探索大數據云提供商 238  13.2.1 Amazon 238  13.2.2 Microsoft 239  13.3 在云端設置大數據沙盒 239  13.3.1 開始使用Amazon EMR 240  13.3.2 開始使用HDInsight 244  13.4 在云端存儲數據 251  13.4.1 存儲數據 251  13.4.2 上傳數據 252  13.4.3 探索大數據存儲工具 252  13.4.4 整合云端數據 254  13.4.5 其他云端數據源 255  13.5 本章小結 255  第14章 現實生活中的大數據 257  14.1 常見行業(yè)分析 257  14.1.1 電信 257  14.1.2 能源 258  14.1.3 零售 258  14.1.4 數據服務 259  14.1.5 IT／托管優(yōu)化 259  14.1.6 市場社會情緒 260  14.2 運營分析 260  14.2.1 快速失敗 260  14.2.2 一個新的技術生態(tài)系統(tǒng) 260  14.2.3 用戶受眾 262  14.3 本章小結 264  第Ⅵ部分 繼續(xù)向前發(fā)展大數據  第15章 創(chuàng)建和執(zhí)行大數據計劃 267  15.1 獲得贊助方和利益相關方的認同 267  15.1.1 問題定義 268  15.1.2 范圍管理 269  15.1.3 利益相關方的期望 270  15.1.4 定義成功的標準 270  15.2 確定技術上的挑戰(zhàn) 271  15.2.1 環(huán)境的挑戰(zhàn) 271  15.2.2 技能的挑戰(zhàn) 272  15.3 確定運營上的挑戰(zhàn) 273  15.3.1 制定設置／配置計劃 273  15.3.2 制定運行維護計劃 274  15.4 更進一步 275  15.4.1 交付到運營 276  15.4.2 部署之后 276  15.5 本章小結 276  第16章 運營的大數據管理 279  16.1 混合型大數據環(huán)境：云端與本地解決方案協(xié)同工作 279  16.2 使用云計算和本地解決方案的動態(tài)數據集成 280  16.3 大數據的集成思想 281  16.4 大數據環(huán)境中的備份和高可用性 283  16.4.1 高可用性 283  16.4.2 災難恢復 285  16.5 大數據解決方案的管理 286  16.6 創(chuàng)建運營分析 286  16.6.1 HDP系統(tǒng)中心運營管理器 287  16.6.2 安裝Ambari SCOM管理軟件包 288  16.6.3 使用Ambari SCOM管理軟件包進行監(jiān)控 296  16.7 本章小結 300