大數(shù)據(jù)導(dǎo)論

項(xiàng)目1大數(shù)據(jù)與大數(shù)據(jù)時(shí)代1
任務(wù)1.1進(jìn)入大數(shù)據(jù)時(shí)代1
【導(dǎo)讀案例】 準(zhǔn)確預(yù)測(cè)地震1
【任務(wù)描述】2
【知識(shí)準(zhǔn)備】 進(jìn)入大數(shù)據(jù)時(shí)代3
1.1.1天文學(xué)——信息爆炸的起源3
1.1.2大數(shù)據(jù)的發(fā)展7
1.1.3重新認(rèn)識(shí)數(shù)據(jù)9
1.1.4數(shù)據(jù)集與數(shù)據(jù)分析10
【作業(yè)】14
【實(shí)訓(xùn)操作】15
任務(wù)1.2熟悉大數(shù)據(jù)的定義19
【導(dǎo)讀案例】 得數(shù)據(jù)者得天下19
【任務(wù)描述】21
【知識(shí)準(zhǔn)備】 定義大數(shù)據(jù)21
1.2.1大數(shù)據(jù)的定義21
1.2.2大數(shù)據(jù)的3V和5V特征22
1.2.3廣義的大數(shù)據(jù)24
1.2.4大數(shù)據(jù)的結(jié)構(gòu)類型25
【作業(yè)】26
【實(shí)訓(xùn)操作】27
項(xiàng)目2大數(shù)據(jù)時(shí)代思維變革31
任務(wù)2.1理解思維轉(zhuǎn)變之一：樣本=總體31
【導(dǎo)讀案例】 亞馬遜推薦系統(tǒng)31
【任務(wù)描述】33
【知識(shí)準(zhǔn)備】 分析更多數(shù)據(jù)而不再是只依賴于隨機(jī)采樣33
2.1.1小數(shù)據(jù)時(shí)代的隨機(jī)采樣34
2.1.2大數(shù)據(jù)與喬布斯的癌癥治療37
2.1.3全數(shù)據(jù)模式：樣本=總體38
【作業(yè)】39
【實(shí)訓(xùn)操作】40
任務(wù)2.2理解思維轉(zhuǎn)變之二：接受數(shù)據(jù)的混雜性42
【導(dǎo)讀案例】 數(shù)據(jù)驅(qū)動(dòng)≠大數(shù)據(jù)42
【任務(wù)描述】44
【知識(shí)準(zhǔn)備】 不再熱衷于追求精確度44
2.2.1允許不精確45
2.2.2大數(shù)據(jù)的簡(jiǎn)單算法與小數(shù)據(jù)的復(fù)雜算法47
2.2.3紛繁的數(shù)據(jù)越多越好48
2.2.4混雜性是標(biāo)準(zhǔn)途徑49
2.2.5新的數(shù)據(jù)庫(kù)設(shè)計(jì)50
2.2.6 5%的數(shù)字?jǐn)?shù)據(jù)與95%的非結(jié)構(gòu)化數(shù)據(jù)51
【作業(yè)】52
【實(shí)訓(xùn)操作】54
任務(wù)2.3理解思維轉(zhuǎn)變之三：數(shù)據(jù)的相關(guān)關(guān)系55
【導(dǎo)讀案例】 美國(guó)百億美元望遠(yuǎn)鏡主鏡安裝完畢55
【任務(wù)描述】58
【知識(shí)準(zhǔn)備】 不再熱衷于尋找因果關(guān)系58
2.3.1關(guān)聯(lián)物，預(yù)測(cè)的關(guān)鍵58
2.3.2“是什么”，而不是“為什么”61
2.3.3通過(guò)因果關(guān)系了解世界62
2.3.4通過(guò)相關(guān)關(guān)系了解世界63
【作業(yè)】64
【實(shí)訓(xùn)操作】65
項(xiàng)目3大數(shù)據(jù)促進(jìn)行業(yè)發(fā)展67
任務(wù)3.1理解大數(shù)據(jù)促進(jìn)醫(yī)療與健康67
【導(dǎo)讀案例】 大數(shù)據(jù)變革公共衛(wèi)生67
【任務(wù)描述】69
【知識(shí)準(zhǔn)備】 大數(shù)據(jù)促進(jìn)醫(yī)療與健康69
3.1.1大數(shù)據(jù)促進(jìn)循證醫(yī)學(xué)發(fā)展69
3.1.2大數(shù)據(jù)帶來(lái)醫(yī)療保健新突破71
3.1.3醫(yī)療信息數(shù)字化76
3.1.4超級(jí)大數(shù)據(jù)的佳伙伴——搜索78
3.1.5數(shù)據(jù)決策的成功崛起79
【作業(yè)】82
【實(shí)訓(xùn)操作】83
任務(wù)3.2理解大數(shù)據(jù)激發(fā)創(chuàng)造力84
【導(dǎo)讀案例】 臉書的設(shè)計(jì)決策84
【任務(wù)描述】86
【知識(shí)準(zhǔn)備】 大數(shù)據(jù)激發(fā)創(chuàng)造力87
3.2.1大數(shù)據(jù)幫助改善設(shè)計(jì)87
3.2.2大數(shù)據(jù)操作回路90
3.2.3大數(shù)據(jù)資產(chǎn)的崛起92
【作業(yè)】93
【實(shí)訓(xùn)操作】95
項(xiàng)目4大數(shù)據(jù)方法的驅(qū)動(dòng)力96
任務(wù)4.1理解采用大數(shù)據(jù)的商業(yè)動(dòng)機(jī)96
【導(dǎo)讀案例】 大數(shù)據(jù)企業(yè)的縮影——谷歌（Google）96
【任務(wù)描述】97
【知識(shí)準(zhǔn)備】 將數(shù)據(jù)變成競(jìng)爭(zhēng)優(yōu)勢(shì)98
4.1.1大數(shù)據(jù)的跨界年度98
4.1.2谷歌的大數(shù)據(jù)行動(dòng)99
4.1.3亞馬遜的大數(shù)據(jù)行動(dòng)100
4.1.4將信息變成一種競(jìng)爭(zhēng)優(yōu)勢(shì)102
4.1.5市場(chǎng)動(dòng)態(tài)105
4.1.6業(yè)務(wù)架構(gòu)106
4.1.7業(yè)務(wù)流程管理108
【作業(yè)】109
【實(shí)訓(xùn)操作】110
任務(wù)4.2理解大數(shù)據(jù)規(guī)劃考慮111
【導(dǎo)讀案例】 Google搜索算法告訴你，如何將一個(gè)人變成傻瓜111
【任務(wù)描述】112
【知識(shí)準(zhǔn)備】 大數(shù)據(jù)的規(guī)劃考慮112
4.2.1信息與通信技術(shù)113
4.2.2萬(wàn)物互聯(lián)網(wǎng)114
4.2.3數(shù)據(jù)獲取與數(shù)據(jù)來(lái)源114
4.2.4不同的性能挑戰(zhàn)116
4.2.5不同的管理需求116
【作業(yè)】117
【實(shí)訓(xùn)操作】118
任務(wù)4.3熟悉大數(shù)據(jù)商務(wù)智能120
【導(dǎo)讀案例】 微信支付新廣告，講了一個(gè)支付之外的故事120
【任務(wù)描述】123
【知識(shí)準(zhǔn)備】 熟悉大數(shù)據(jù)商務(wù)智能123
4.3.1 OLTP與OLAP123
4.3.2抽取、轉(zhuǎn)換和加載技術(shù)124
4.3.3數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市124
4.3.4傳統(tǒng)商務(wù)智能125
4.3.5大數(shù)據(jù)商務(wù)智能125
4.3.6大數(shù)據(jù)營(yíng)銷126
【作業(yè)】132
【實(shí)訓(xùn)操作】133
項(xiàng)目5大數(shù)據(jù)存儲(chǔ)技術(shù)136
任務(wù)5.1熟悉大數(shù)據(jù)存儲(chǔ)概念136
【導(dǎo)讀案例】 2018未來(lái)交通峰會(huì)召開(kāi)，高德地圖升級(jí)易行平臺(tái)136
【任務(wù)描述】139
【知識(shí)準(zhǔn)備】 大數(shù)據(jù)存儲(chǔ)的主要概念139
5.1.1數(shù)據(jù)清理139
5.1.2集群139
5.1.3文件系統(tǒng)和分布式文件系統(tǒng)140
5.1.4分片與復(fù)制143
5.1.5 CAP定理149
5.1.6 ACID設(shè)計(jì)原則150
5.1.7 BASE設(shè)計(jì)原理153
【作業(yè)】155
【實(shí)訓(xùn)操作】157
任務(wù)5.2了解大數(shù)據(jù)存儲(chǔ)技術(shù)159
【導(dǎo)讀案例】 基礎(chǔ)領(lǐng)域突破非一日之功，是數(shù)十年耕耘159
【任務(wù)描述】162
【知識(shí)準(zhǔn)備】 大數(shù)據(jù)存儲(chǔ)的核心技術(shù)162
5.2.1 RDBMS數(shù)據(jù)庫(kù)163
5.2.2 NoSQL數(shù)據(jù)