大數(shù)據(jù)導(dǎo)論

項目1大數(shù)據(jù)與大數(shù)據(jù)時代1
任務(wù)1.1進(jìn)入大數(shù)據(jù)時代1
【導(dǎo)讀案例】 準(zhǔn)確預(yù)測地震1
【任務(wù)描述】2
【知識準(zhǔn)備】 進(jìn)入大數(shù)據(jù)時代3
1.1.1天文學(xué)——信息爆炸的起源3
1.1.2大數(shù)據(jù)的發(fā)展7
1.1.3重新認(rèn)識數(shù)據(jù)9
1.1.4數(shù)據(jù)集與數(shù)據(jù)分析10
【作業(yè)】14
【實訓(xùn)操作】15
任務(wù)1.2熟悉大數(shù)據(jù)的定義19
【導(dǎo)讀案例】 得數(shù)據(jù)者得天下19
【任務(wù)描述】21
【知識準(zhǔn)備】 定義大數(shù)據(jù)21
1.2.1大數(shù)據(jù)的定義21
1.2.2大數(shù)據(jù)的3V和5V特征22
1.2.3廣義的大數(shù)據(jù)24
1.2.4大數(shù)據(jù)的結(jié)構(gòu)類型25
【作業(yè)】26
【實訓(xùn)操作】27
項目2大數(shù)據(jù)時代思維變革31
任務(wù)2.1理解思維轉(zhuǎn)變之一：樣本=總體31
【導(dǎo)讀案例】 亞馬遜推薦系統(tǒng)31
【任務(wù)描述】33
【知識準(zhǔn)備】 分析更多數(shù)據(jù)而不再是只依賴于隨機采樣33
2.1.1小數(shù)據(jù)時代的隨機采樣34
2.1.2大數(shù)據(jù)與喬布斯的癌癥治療37
2.1.3全數(shù)據(jù)模式：樣本=總體38
【作業(yè)】39
【實訓(xùn)操作】40
任務(wù)2.2理解思維轉(zhuǎn)變之二：接受數(shù)據(jù)的混雜性42
【導(dǎo)讀案例】 數(shù)據(jù)驅(qū)動≠大數(shù)據(jù)42
【任務(wù)描述】44
【知識準(zhǔn)備】 不再熱衷于追求精確度44
2.2.1允許不精確45
2.2.2大數(shù)據(jù)的簡單算法與小數(shù)據(jù)的復(fù)雜算法47
2.2.3紛繁的數(shù)據(jù)越多越好48
2.2.4混雜性是標(biāo)準(zhǔn)途徑49
2.2.5新的數(shù)據(jù)庫設(shè)計50
2.2.6 5%的數(shù)字?jǐn)?shù)據(jù)與95%的非結(jié)構(gòu)化數(shù)據(jù)51
【作業(yè)】52
【實訓(xùn)操作】54
任務(wù)2.3理解思維轉(zhuǎn)變之三：數(shù)據(jù)的相關(guān)關(guān)系55
【導(dǎo)讀案例】 美國百億美元望遠(yuǎn)鏡主鏡安裝完畢55
【任務(wù)描述】58
【知識準(zhǔn)備】 不再熱衷于尋找因果關(guān)系58
2.3.1關(guān)聯(lián)物，預(yù)測的關(guān)鍵58
2.3.2“是什么”，而不是“為什么”61
2.3.3通過因果關(guān)系了解世界62
2.3.4通過相關(guān)關(guān)系了解世界63
【作業(yè)】64
【實訓(xùn)操作】65
項目3大數(shù)據(jù)促進(jìn)行業(yè)發(fā)展67
任務(wù)3.1理解大數(shù)據(jù)促進(jìn)醫(yī)療與健康67
【導(dǎo)讀案例】 大數(shù)據(jù)變革公共衛(wèi)生67
【任務(wù)描述】69
【知識準(zhǔn)備】 大數(shù)據(jù)促進(jìn)醫(yī)療與健康69
3.1.1大數(shù)據(jù)促進(jìn)循證醫(yī)學(xué)發(fā)展69
3.1.2大數(shù)據(jù)帶來醫(yī)療保健新突破71
3.1.3醫(yī)療信息數(shù)字化76
3.1.4超級大數(shù)據(jù)的佳伙伴——搜索78
3.1.5數(shù)據(jù)決策的成功崛起79
【作業(yè)】82
【實訓(xùn)操作】83
任務(wù)3.2理解大數(shù)據(jù)激發(fā)創(chuàng)造力84
【導(dǎo)讀案例】 臉書的設(shè)計決策84
【任務(wù)描述】86
【知識準(zhǔn)備】 大數(shù)據(jù)激發(fā)創(chuàng)造力87
3.2.1大數(shù)據(jù)幫助改善設(shè)計87
3.2.2大數(shù)據(jù)操作回路90
3.2.3大數(shù)據(jù)資產(chǎn)的崛起92
【作業(yè)】93
【實訓(xùn)操作】95
項目4大數(shù)據(jù)方法的驅(qū)動力96
任務(wù)4.1理解采用大數(shù)據(jù)的商業(yè)動機96
【導(dǎo)讀案例】 大數(shù)據(jù)企業(yè)的縮影——谷歌（Google）96
【任務(wù)描述】97
【知識準(zhǔn)備】 將數(shù)據(jù)變成競爭優(yōu)勢98
4.1.1大數(shù)據(jù)的跨界年度98
4.1.2谷歌的大數(shù)據(jù)行動99
4.1.3亞馬遜的大數(shù)據(jù)行動100
4.1.4將信息變成一種競爭優(yōu)勢102
4.1.5市場動態(tài)105
4.1.6業(yè)務(wù)架構(gòu)106
4.1.7業(yè)務(wù)流程管理108
【作業(yè)】109
【實訓(xùn)操作】110
任務(wù)4.2理解大數(shù)據(jù)規(guī)劃考慮111
【導(dǎo)讀案例】 Google搜索算法告訴你，如何將一個人變成傻瓜111
【任務(wù)描述】112
【知識準(zhǔn)備】 大數(shù)據(jù)的規(guī)劃考慮112
4.2.1信息與通信技術(shù)113
4.2.2萬物互聯(lián)網(wǎng)114
4.2.3數(shù)據(jù)獲取與數(shù)據(jù)來源114
4.2.4不同的性能挑戰(zhàn)116
4.2.5不同的管理需求116
【作業(yè)】117
【實訓(xùn)操作】118
任務(wù)4.3熟悉大數(shù)據(jù)商務(wù)智能120
【導(dǎo)讀案例】 微信支付新廣告，講了一個支付之外的故事120
【任務(wù)描述】123
【知識準(zhǔn)備】 熟悉大數(shù)據(jù)商務(wù)智能123
4.3.1 OLTP與OLAP123
4.3.2抽取、轉(zhuǎn)換和加載技術(shù)124
4.3.3數(shù)據(jù)倉庫與數(shù)據(jù)集市124
4.3.4傳統(tǒng)商務(wù)智能125
4.3.5大數(shù)據(jù)商務(wù)智能125
4.3.6大數(shù)據(jù)營銷126
【作業(yè)】132
【實訓(xùn)操作】133
項目5大數(shù)據(jù)存儲技術(shù)136
任務(wù)5.1熟悉大數(shù)據(jù)存儲概念136
【導(dǎo)讀案例】 2018未來交通峰會召開，高德地圖升級易行平臺136
【任務(wù)描述】139
【知識準(zhǔn)備】 大數(shù)據(jù)存儲的主要概念139
5.1.1數(shù)據(jù)清理139
5.1.2集群139
5.1.3文件系統(tǒng)和分布式文件系統(tǒng)140
5.1.4分片與復(fù)制143
5.1.5 CAP定理149
5.1.6 ACID設(shè)計原則150
5.1.7 BASE設(shè)計原理153
【作業(yè)】155
【實訓(xùn)操作】157
任務(wù)5.2了解大數(shù)據(jù)存儲技術(shù)159
【導(dǎo)讀案例】 基礎(chǔ)領(lǐng)域突破非一日之功，是數(shù)十年耕耘159
【任務(wù)描述】162
【知識準(zhǔn)備】 大數(shù)據(jù)存儲的核心技術(shù)162
5.2.1 RDBMS數(shù)據(jù)庫163
5.2.2 NoSQL數(shù)據(jù)