數(shù)據(jù)科學理論與實踐

第1章基礎(chǔ)理論
如何開始學習
1.1術(shù)語定義
1.2研究目的
1.3發(fā)展簡史
1.4理論體系
1.5基本原則
1.6數(shù)據(jù)科學家
如何繼續(xù)學習
習題
參考文獻
第2章理論基礎(chǔ)
如何開始學習
2.1數(shù)據(jù)科學的學科地位
2.2統(tǒng)計學
2.3機器學習
2.4數(shù)據(jù)可視化
如何繼續(xù)學習
習題
參考文獻
第3章流程與方法
如何開始學習
3.1基本流程
3.2數(shù)據(jù)加工
3.3數(shù)據(jù)審計
3.4數(shù)據(jù)分析
3.5數(shù)據(jù)可視化
3.6數(shù)據(jù)故事化
3.7項目管理
如何繼續(xù)學習
習題
參考文獻
第4章技術(shù)與工具
如何開始學習
4.1技術(shù)體系
4.2MapReduce
4.3Hadoop
4.4Spark
4.5NoSQL與NewSQL
4.6R與Python
4.7發(fā)展趨勢
如何繼續(xù)學習
習題
參考文獻
第5章數(shù)據(jù)產(chǎn)品及開發(fā)
如何開始學習
5.1定義
5.2主要特征
5.3關(guān)鍵活動
5.4數(shù)據(jù)柔術(shù)
5.5數(shù)據(jù)能力
5.6數(shù)據(jù)戰(zhàn)略
5.7數(shù)據(jù)治理
如何繼續(xù)學習
習題
參考文獻
第6章典型案例及實踐
如何開始學習
6.12012年美國總統(tǒng)大選
6.2統(tǒng)計分析
6.3機器學習
6.4數(shù)據(jù)可視化
6.5SparkR編程
如何繼續(xù)學習
習題
參考文獻
附錄AR語言學習筆記與參考手冊
學習與參考指南
1. R變量定義方法
2. R語句的寫法
3. R中的賦值語句
4. R的文件讀寫路徑——當前工作目錄
5. R的變量查找機制——搜索路徑
6. R中查看幫助的方法
7. R區(qū)分大小寫字母
8. R的注釋
9. R的語句
10. R中的變量命名規(guī)范
11. R中的關(guān)鍵字/保留字
12. R中的默認數(shù)據(jù)類型
13. R中數(shù)據(jù)類型的判斷與強制類型轉(zhuǎn)換
14. R中的向量
15. R中的列表
16. R中的數(shù)據(jù)框
17. R中的因子類型
18. R中的循環(huán)語句
19. R中的選擇語句
20. R中的特殊運算符
21. R中的快速生成數(shù)列的方法
22. R中自定義函數(shù)
23. R中常用的數(shù)學函數(shù)
24. R中的字符串處理函數(shù)
25. R中的常用統(tǒng)計函數(shù)
26. R中的隨機數(shù)
27. R包的用法
28. R中的矩陣
29. R中的數(shù)組
30. R中的面向?qū)ο缶幊?br />31. R中的S4類
32. R中的數(shù)據(jù)可視化
33. R的輸入輸出
34. R中的正則表達式
35. R的數(shù)據(jù)集
36. R第三方包——R的靈魂
37. 基于R的數(shù)據(jù)加工
附錄B數(shù)據(jù)科學的重要資源
1. 學術(shù)期刊
2. 國際會議
3. 研究機構(gòu)
4. 課程資源
5. 碩士學位項目
6. 專家學者
7. 相關(guān)工具
附錄C術(shù)語索引
后記
圖目錄
圖11DIKW金字塔2
圖12數(shù)據(jù)與數(shù)值的區(qū)別3
圖13大數(shù)據(jù)的本質(zhì)4
圖14大數(shù)據(jù)的特征5
圖15DIKUW模型及應用8
圖16數(shù)據(jù)洞見8
圖17業(yè)務數(shù)據(jù)化與數(shù)據(jù)業(yè)務化9
圖18常用驅(qū)動方式9
圖19數(shù)據(jù)的層次性9
圖110大數(shù)據(jù)生態(tài)系統(tǒng)10
圖111Gartner技術(shù)成熟度曲線11
圖112數(shù)據(jù)科學的萌芽期（1974—2009年）11
圖113數(shù)據(jù)科學的快速發(fā)展期（2010—2013年）12
圖114數(shù)據(jù)科學的逐漸成熟期（2014年至今）13
圖115數(shù)據(jù)科學的理論體系14
圖116數(shù)據(jù)科學的主要內(nèi)容15
圖117數(shù)據(jù)科學的“三世界原則”16
圖118數(shù)據(jù)科學的“三個要素”及“3C精神”17
圖119數(shù)據(jù)范式與知識范式的區(qū)別18
圖120數(shù)據(jù)管理范式的變化18
圖121大數(shù)據(jù)的資產(chǎn)屬性19
圖122常用驅(qū)動方式20
圖123CAPTCHA項目21
圖124ReCAPTCHA項目21
圖125數(shù)據(jù)與算法之間的關(guān)系22
圖126BellKors Pragmatic Chaos團隊獲得Netflix獎23
圖127Netflix獎公測結(jié)果23
圖128RStudio中編輯Markdown的窗口25
圖129數(shù)據(jù)科學家團隊28
圖130學習數(shù)據(jù)科學的四則原則29
圖21數(shù)據(jù)科學的理論基礎(chǔ)35
圖22統(tǒng)計方法的分類（目的與思路視角）37
圖23統(tǒng)計學中的數(shù)據(jù)推斷37
圖24數(shù)據(jù)統(tǒng)計方法的類型（方法論視角）38
圖25數(shù)據(jù)統(tǒng)計基本方法38
圖26元分析與基本分析39
圖27GFT預測與美國疾病控制中心數(shù)據(jù)的對比40
圖28GFT估計與實際數(shù)據(jù)的誤差（2013年2月）40
圖29大數(shù)據(jù)時代的思維模式的轉(zhuǎn)變41
圖210西洋雙陸棋42
圖211自動駕駛42
圖212機器學習的基本思路42
圖213機器學習的三要素44
圖214機器學習的類型45
圖215KNN算法的基本步驟46
圖216決策樹示例——識別鳥類48
圖217感知器示例50
圖218前向神經(jīng)網(wǎng)絡(luò)50
圖219歸納學習與分析學習52
圖220增強學習53
圖221IBM Watson54
圖222Pepper機器人54
圖223機器學習及其應用55
圖224Anscombe四組數(shù)據(jù)的可視化57
圖225John Snow的鬼地圖（Ghost Map）58
圖31數(shù)據(jù)科學的基本流程62
圖32量化自我63
圖33整齊數(shù)據(jù)與干凈數(shù)據(jù)的區(qū)別64
圖34整齊數(shù)據(jù)示意圖64
圖35殘差67
圖36數(shù)據(jù)分析的類型68
圖37Analytics 1.0~3.069
圖38數(shù)據(jù)加工方法70
圖39數(shù)據(jù)審計與數(shù)據(jù)清洗71
圖310缺失數(shù)據(jù)的處理步驟72
圖311冗余數(shù)據(jù)的處理方法72
圖312數(shù)據(jù)分箱處理的步驟與類型73
圖313均值平滑與邊界值平滑74
圖314內(nèi)容集成76
圖315結(jié)構(gòu)集成76
圖316數(shù)據(jù)脫敏處理77
圖317數(shù)據(jù)連續(xù)性的定義及重要性81
圖318可視化審計82
圖319Gartner分析學價值扶梯模型83
圖320冰激凌的銷量與謀殺案的發(fā)生數(shù)量84
圖321數(shù)據(jù)分析的類型86
圖322拿破侖進軍俄國慘敗而歸的歷史事件的可視化87
圖323可視化分析學的相關(guān)學科87
圖324可視化分析學模型88
圖325數(shù)據(jù)可視化的方法體系89
圖326視覺圖形元素與視覺通道89
圖327雷達圖示例89
圖328齊美爾連帶89
圖329視覺隱喻的示例——美國政府機構(gòu)的設(shè)置90
圖330地鐵路線圖的創(chuàng)始人Henry Beck91
圖331Henry Beck的倫敦地鐵線路圖91
圖332視覺突出的示例92
圖333完圖法則的示例92
圖334視覺通道的選擇與展示94
圖335視覺通道的精確度對比94
圖336視覺通道的可辨認性——某公司產(chǎn)品銷售示意圖95
圖337視覺通道的可分離性差95
圖338上下文導致視覺假象196
圖339上下文導致視覺假象296
圖340對亮度和顏色的相對判斷容易造成視覺假象的示例96
圖341數(shù)據(jù)可視化與數(shù)據(jù)故事化描述97
圖342數(shù)據(jù)的故事化描述及故事的展現(xiàn)98
圖343項目管理的主要內(nèi)容101
圖344數(shù)據(jù)科學項目的基本流程102
圖41大數(shù)據(jù)產(chǎn)業(yè)全景圖107
圖42基礎(chǔ)設(shè)施108
圖43分析工具109
圖44企業(yè)應用109
圖45行業(yè)應用110
圖46跨平臺基礎(chǔ)設(shè)施和分析工具110
圖47開源系統(tǒng)111
圖48數(shù)據(jù)源與Apps111
圖49數(shù)據(jù)資源111
圖410MapReduce執(zhí)行過程113
圖411MapReduce對中間數(shù)據(jù)的處理116
圖412以MapReduce為核心和以YARN為核心的軟件棧對比118
圖413下一代MapReduce框架118
圖414Apache Hadoop官網(wǎng)119
圖415Apache Hadoop生態(tài)系統(tǒng)119
圖416Hadoop MapReduce數(shù)據(jù)處理流程121
圖417Apache Hive官網(wǎng)122
圖418Apache Pig官網(wǎng)123
圖419Apache Mahout官網(wǎng)124
圖420Apache HBase官網(wǎng)125
圖421HBase與Hadoop項目125
圖422HBase邏輯模型126
圖423Apache Zookeeper官網(wǎng)127
圖424Apache Flume官網(wǎng)127
圖425Apache Sqoop官網(wǎng)128
圖426Spark 技術(shù)架構(gòu)130
圖427Spark執(zhí)行流程130
圖428Spark Scheduler134
圖429傳統(tǒng)關(guān)系數(shù)據(jù)庫的優(yōu)點與缺點136
圖430關(guān)系數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫之間的關(guān)系138
圖431NoSQL數(shù)據(jù)分布的兩個基本途徑139
圖432分片處理140
圖433主從復制141
圖434對等復制142
圖435數(shù)據(jù)不一致性142
圖436CAP理論143
圖437Memcached官網(wǎng)146
圖438一致性散列的分配方式147
圖439服務器增加時的變化147
圖440計算模式的演變150
圖441數(shù)據(jù)管理的新變化152
圖51數(shù)據(jù)產(chǎn)品開發(fā)中的數(shù)據(jù)與數(shù)據(jù)柔術(shù)157
圖52數(shù)據(jù)產(chǎn)品開發(fā)與數(shù)據(jù)柔術(shù)160
圖53數(shù)據(jù)產(chǎn)品的多樣性160
圖54數(shù)據(jù)產(chǎn)品的層次性161
圖55Google全球商機洞察（Global Market Finder）162
圖56數(shù)據(jù)產(chǎn)品鏈162
圖57傳統(tǒng)產(chǎn)品開發(fā)與數(shù)據(jù)產(chǎn)品開發(fā)的區(qū)別163