大數(shù)據(jù)及其可視化

第1 章 大數(shù)據(jù)與大數(shù)據(jù)時(shí)代............1
1.1 大數(shù)據(jù)概述............................. 3
1.1.1 數(shù)據(jù)與信息.................. 3
1.1.2 天文學(xué)——信息爆炸
的起源.......................... 3
1.1.3 大數(shù)據(jù)的定義............... 4
1.1.4 用3V 描述大數(shù)據(jù)
特征............................. 5
1.1.5 大數(shù)據(jù)的結(jié)構(gòu)類型....... 7
1.2 思維變革之一：樣本=總體..... 8
1.2.1 小數(shù)據(jù)時(shí)代的隨機(jī)
采樣............................. 8
1.2.2 大數(shù)據(jù)與喬布斯的
癌癥治療.................... 11
1.2.3 全數(shù)據(jù)模式：樣本=
總體........................... 12
1.3 思維變革之二：接受數(shù)據(jù)
的混雜性.............................. 12
1.3.1 允許不精確................ 12
1.3.2 大數(shù)據(jù)的簡(jiǎn)單算法與
小數(shù)據(jù)的復(fù)雜算法..... 13
1.3.3 紛繁的數(shù)據(jù)越多
越好........................... 14
1.3.4 5%的數(shù)字?jǐn)?shù)據(jù)與95%
的非結(jié)構(gòu)化數(shù)據(jù)......... 15
1.4 思維變革之三：數(shù)據(jù)的
相關(guān)關(guān)系.............................. 16
1.4.1 關(guān)聯(lián)物，預(yù)測(cè)的
關(guān)鍵........................... 16
1.4.2 “是什么”，而不是
“為什么”.................. 17
1.4.3 通過(guò)相關(guān)關(guān)系了解
世界........................... 18
【實(shí)驗(yàn)與思考】深入理解大數(shù)據(jù)
時(shí)代...................................... 19
第2 章 數(shù)據(jù)可視化之美.................21
2.1 數(shù)據(jù)與可視化....................... 22
2.1.1 數(shù)據(jù)的可變性............. 23
2.1.2 數(shù)據(jù)的不確定性......... 24
2.1.3 數(shù)據(jù)的背景信息......... 25
2.1.4 打造最好的可視化
效果........................... 26
2.2 數(shù)據(jù)與圖形........................... 26
2.2.1 地圖傳遞信息............. 26
2.2.2 數(shù)據(jù)與走勢(shì)................. 27
2.2.3 視覺(jué)信息的科學(xué)
解釋........................... 28
2.2.4 圖片和分享的力量...... 29
2.2.5 公共數(shù)據(jù)集................. 29
2.3 實(shí)時(shí)可視化........................... 31
2.4 可視化分析工具.................... 31
2.4.1 Microsoft Excel ........... 32
2.4.2 Google Spreadsheets...... 32
2.4.3 Tableau ....................... 33
2.4.4 可視化編程工具......... 33
【實(shí)驗(yàn)與思考】熟悉大數(shù)據(jù)
可視化.................................. 35
第3 章 Excel 數(shù)據(jù)可視化方法........37
3.1 Excel 的函數(shù)與圖表.............. 39
3.1.1 Excel 函數(shù).................. 40
3.1.2 Excel 圖表.................. 41
大數(shù)據(jù)及其可視化
2
3.1.3 選擇圖表類型............. 43
3.2 整理數(shù)據(jù)源........................... 44
3.2.1 數(shù)據(jù)提煉.................... 44
3.2.2 抽樣產(chǎn)生隨機(jī)數(shù)據(jù)..... 47
3.3 數(shù)理統(tǒng)計(jì)中的常見(jiàn)統(tǒng)計(jì)量..... 49
3.3.1 比平均值更穩(wěn)定的
中位數(shù)和眾數(shù)............. 49
3.3.2 正態(tài)分布和偏態(tài)
分布........................... 50
3.3.3 財(cái)務(wù)預(yù)算中的分析
工具........................... 52
3.4 改變數(shù)據(jù)形式引起的
圖表變化.............................. 53
3.4.1 用負(fù)數(shù)突出數(shù)據(jù)的
增長(zhǎng)情況.................... 53
3.4.2 重排關(guān)鍵字順序
使圖表更合適............. 54
【實(shí)驗(yàn)與思考】體驗(yàn)Excel 數(shù)據(jù)
可視化方法........................... 55
第4 章 Excel 數(shù)據(jù)可視化應(yīng)用........57
4.1 直方圖：對(duì)比關(guān)系................ 60
4.1.1 以零基線為起點(diǎn)......... 60
4.1.2 垂直直條的寬度要
大于條間距................ 62
4.1.3 慎用三維效果的
柱形圖........................ 63
4.1.4 用堆積圖表示
百分?jǐn)?shù)........................ 64
4.2 折線圖：按時(shí)間或類別
顯示趨勢(shì).............................. 65
4.2.1 減小Y 軸刻度單位
增強(qiáng)數(shù)據(jù)波動(dòng)情況..... 65
4.2.2 突出顯示折線圖中
的數(shù)據(jù)點(diǎn).................... 66
4.2.3 通過(guò)面積圖顯示
數(shù)據(jù)總額.................... 67
4.3 圓餅圖：部分占總體的比例.... 68
4.3.1 重視圓餅圖扇區(qū)的
位置排序.................... 68
4.3.2 分離圓餅圖扇區(qū)
強(qiáng)調(diào)特殊數(shù)據(jù)............. 69
4.3.3 用半個(gè)圓餅圖刻畫(huà)
半期內(nèi)的數(shù)據(jù)............. 70
4.3.4 讓多個(gè)圓餅圖對(duì)象
重疊展示對(duì)比關(guān)系..... 71
4.4 散點(diǎn)圖：表示分布狀態(tài)......... 72
4.4.1 用平滑線聯(lián)系散點(diǎn)圖
增強(qiáng)圖形效果............. 72
4.4.2 將直角坐標(biāo)改為象限
坐標(biāo)凸顯分布效果..... 73
4.5 側(cè)重點(diǎn)不同的特殊圖表......... 74
4.5.1 用子彈圖顯示數(shù)據(jù)
的優(yōu)劣........................ 74
4.5.2 用溫度計(jì)展示工作
進(jìn)度........................... 75
4.5.3 用漏斗圖進(jìn)行業(yè)務(wù)
流程的差異分析......... 76
【實(shí)驗(yàn)與思考】大數(shù)據(jù)如何激發(fā)
創(chuàng)造力.................................. 78
第5 章 大數(shù)據(jù)的商業(yè)規(guī)則..............79
5.1 大數(shù)據(jù)的跨界年度................ 80
5.2 谷歌的大數(shù)據(jù)行動(dòng)................ 81
5.3 亞馬遜的大數(shù)據(jù)行動(dòng)............ 83
5.4 將信息變成一種競(jìng)爭(zhēng)優(yōu)勢(shì)..... 84
5.4.1 數(shù)據(jù)價(jià)格下降，
數(shù)據(jù)需求上升............. 85
5.4.2 大數(shù)據(jù)應(yīng)用程序的
興起........................... 86
5.4.3 實(shí)時(shí)響應(yīng)，大數(shù)據(jù)
用戶的新要求............. 87
5.4.4 企業(yè)構(gòu)建大數(shù)據(jù)
戰(zhàn)略........................... 87
目 錄
3
5.5 大數(shù)據(jù)營(yíng)銷........................... 88
5.5.1 像媒體公司一樣
思考........................... 88
5.5.2 營(yíng)銷面對(duì)新的機(jī)遇
與挑戰(zhàn)........................ 89
5.5.3 自動(dòng)化營(yíng)銷................ 90
5.5.4 為營(yíng)銷創(chuàng)建高容量
和高價(jià)值的內(nèi)容......... 91
5.5.5 內(nèi)容營(yíng)銷.................... 91
5.5.6 內(nèi)容創(chuàng)作與眾包......... 92
5.5.7 用投資回報(bào)率評(píng)價(jià)
營(yíng)銷效果.................... 93
【實(shí)驗(yàn)與思考】大數(shù)據(jù)營(yíng)銷的
優(yōu)勢(shì)與核心內(nèi)涵................... 93
第6 章 大數(shù)據(jù)激發(fā)創(chuàng)造力..............95
6.1 大數(shù)據(jù)與循證醫(yī)學(xué)................ 97
6.2 大數(shù)據(jù)帶來(lái)的醫(yī)療新突破..... 98
6.2.1 量化自我，關(guān)注個(gè)人
健康........................... 99
6.2.2 可穿戴的個(gè)人健康
設(shè)備......................... 100
6.2.3 大數(shù)據(jù)時(shí)代的醫(yī)療
信息......................... 101
6.3 醫(yī)療信息數(shù)字化................. 103
6.4 搜索：超級(jí)大數(shù)據(jù)的
最佳伙伴............................ 105
6.5 數(shù)據(jù)決策的成功崛起.......... 106
6.5.1 數(shù)據(jù)輔助診斷........... 107
6.5.2 你考慮過(guò)……了嗎...... 107
6.5.3 大數(shù)據(jù)分析使數(shù)據(jù)
決策崛起.................. 108
6.6 大數(shù)據(jù)幫助改善設(shè)計(jì).......... 109
6.6.1 少而精是設(shè)計(jì)的
核心..........................110
6.6.2 與玩家共同設(shè)計(jì)
游戲..........................111
6.6.3 以人為本的汽車(chē)
設(shè)計(jì)理念...................111
6.6.4 尋找最佳音響效果...... 112
6.6.5 建筑數(shù)據(jù)取代直覺(jué)...... 113
【實(shí)驗(yàn)與思考】大數(shù)據(jù)如何激發(fā)
創(chuàng)造力................................ 114
第7 章 大數(shù)據(jù)預(yù)測(cè)分析...............116
7.1 預(yù)測(cè)分析............................ 119
7.2 數(shù)據(jù)情感和情感數(shù)據(jù).......... 122
7.2.1 從博客觀察集體
情感......................... 122
7.2.2 預(yù)測(cè)分析博客中的
情緒......................... 122
7.2.3 影響情緒的重要
因素——金錢(qián)........... 124
7.3 數(shù)據(jù)具有內(nèi)在預(yù)測(cè)性.......... 125
7.4 情感的因果關(guān)系.................. 126
7.4.1 焦慮指數(shù)與標(biāo)普
500 指數(shù)................... 126
7.4.2 驗(yàn)證情感和被驗(yàn)證
的情感...................... 128
7.4.3 情緒指標(biāo)影響
金融市場(chǎng).................. 129
【實(shí)驗(yàn)與思考】大數(shù)據(jù)準(zhǔn)備度
自我評(píng)分表......................... 130
第8 章 支撐大數(shù)據(jù)的技術(shù)............134
8.1 大數(shù)據(jù)在云端..................... 135
8.1.1 云計(jì)算概述............... 136
8.1.2 云計(jì)算的服務(wù)形式...... 137
8.1.3 云計(jì)算與大數(shù)據(jù)....... 137
8.1.4 云基礎(chǔ)設(shè)施............... 139
8.2 計(jì)算虛擬化......................... 140
8.3 網(wǎng)絡(luò)虛擬化......................... 140
8.4 大數(shù)據(jù)存儲(chǔ)......................... 141
大數(shù)據(jù)及其可視化
4
8.4.1 傳統(tǒng)存儲(chǔ)系統(tǒng)........... 141
8.4.2 大數(shù)據(jù)時(shí)代的
新挑戰(zhàn)...................... 142
8.4.3 分布式存儲(chǔ).............. 143
8.4.4 云存儲(chǔ)...................... 144
8.5 開(kāi)源技術(shù)的商業(yè)支援.......... 145
8.6 大數(shù)據(jù)的技術(shù)架構(gòu).............. 146
8.7 Hadoop 基礎(chǔ)....................... 147
8.7.1 分布式系統(tǒng)概述....... 147
8.7.2 Hadoop 的由來(lái)......... 148
8.7.3 Hadoop 的優(yōu)勢(shì)......... 149
8.7.4 Hadoop 的發(fā)行
版本......................... 150
8.8 大數(shù)據(jù)數(shù)據(jù)處理基礎(chǔ).......... 150
8.8.1 Hadoop 與NoSQL...... 151
8.8.2 NoSQL 與RDBMS
的主要區(qū)別.............. 151
8.8.3 NewSQL ................... 153
【實(shí)驗(yàn)與思考】了解大數(shù)據(jù)的
基礎(chǔ)設(shè)施............................ 154
第9 章 數(shù)據(jù)引導(dǎo)可視化...............156