大數(shù)據(jù)與機器學習：實踐方法與行業(yè)案例

前言
第一部分　數(shù)據(jù)與平臺篇
第1章　數(shù)據(jù)與數(shù)據(jù)平臺3
1.1　數(shù)據(jù)的基本形態(tài)4
1.1.1　數(shù)據(jù)環(huán)境與數(shù)據(jù)形態(tài)4
1.1.2　生產(chǎn)數(shù)據(jù)5
1.1.3　原始數(shù)據(jù)5
1.1.4　分析數(shù)據(jù)6
1.2　數(shù)據(jù)平臺7
1.2.1　數(shù)據(jù)倉庫平臺9
1.2.2　大數(shù)據(jù)平臺13
1.2.3　MPP數(shù)據(jù)庫22
1.2.4　NoSQL數(shù)據(jù)庫23
1.3　應用系統(tǒng)24
1.4　本章小結(jié)25
第2章　數(shù)據(jù)體系26
2.1　數(shù)據(jù)閉環(huán)27
2.2　數(shù)據(jù)緩沖區(qū)28
2.2.1　系統(tǒng)解耦29
2.2.2　批量導出31
2.2.3　FTP傳輸40
2.2.4　批量導入42
2.3　ETL49
2.3.1　ETL工具50
2.3.2　ETL作業(yè)52
2.4　作業(yè)調(diào)度56
2.5　監(jiān)控和預警56
2.5.1　使用監(jiān)控工具進行監(jiān)控57
2.5.2　使用BI工具進行監(jiān)控57
2.6　本章小結(jié)57
第3章　實戰(zhàn)：打造數(shù)據(jù)閉環(huán)59
3.1　數(shù)據(jù)緩沖區(qū)的基本規(guī)則60
3.1.1　文件存儲規(guī)則61
3.1.2　文件命名規(guī)則61
3.1.3　文件清理規(guī)則62
3.2　自動加載的流程62
3.2.1　掃描文件63
3.2.2　下載文件64
3.2.3　解壓文件65
3.2.4　加載文件65
3.3　自動加載程序的數(shù)據(jù)庫設計66
3.3.1　數(shù)據(jù)文件信息表67
3.3.2　數(shù)據(jù)文件狀態(tài)表68
3.3.3　加載配置信息表69
3.3.4　數(shù)據(jù)緩沖區(qū)信息表70
3.3.5　目標服務器表70
3.4　自動加載程序的多線程實現(xiàn)71
3.4.1　ScanFiles72
3.4.2　DownLoadAndUnZip75
3.4.3　LoadToHive77
3.4.4　LoadToOracle78
3.4.5　自動加載程序的部署架構(gòu)79
3.4.6　程序的維護和優(yōu)化80
3.5　本章小結(jié)80
第二部分　分　析　篇
第4章　數(shù)據(jù)預處理83
4.1　數(shù)據(jù)表的預處理84
4.2　變量的預處理85
4.2.1　缺失值的處理85
4.2.2　極值的處理90
4.3　變量的設計91
4.3.1　暴力衍生91
4.3.2　交叉升維92
4.4　變量篩選95
4.4.1　篩選顯著變量95
4.4.2　剔除共線性96
4.5　本章小結(jié)100
第5章　聚類，簡單易用的客戶細分方法101
5.1　從客戶細分說起102
5.1.1　為什么要做客戶細分102
5.1.2　怎么做客戶細分103
5.1.3　聚類分析，無監(jiān)督的客戶細分方法107
5.2　譜系聚類107
5.2.1　基本步驟107
5.2.2　案例：公司客戶差異化服務110
5.2.3　譜系聚類方法的題外話115
5.3　K-means算法116
5.3.1　基本步驟116
5.3.2　案例：電商賣家細分117
5.3.3　K-means算法的題外話121
5.4　本章小結(jié)121
第6章　關(guān)聯(lián)規(guī)則挖掘，發(fā)現(xiàn)產(chǎn)品
加載和交叉銷售機會122
6.1　銷售的真諦：讓客戶買得更多123
6.1.1　案例：電商的生意經(jīng)123
6.1.2　案例：富國銀行的“商店”經(jīng)營模式124
6.1.3　案例總結(jié)125
6.2　交叉銷售126
6.2.1　為什么要做交叉銷售126
6.2.2　怎么做交叉銷售126
6.3　關(guān)聯(lián)規(guī)則挖掘，發(fā)現(xiàn)交叉銷售機會128
6.3.1　Apriori算法129
6.3.2　Apriori算法的主要指標129
6.3.3　Apriori算法的基本步驟131
6.4　案例：信用卡產(chǎn)品交叉銷售131
6.4.1　準備數(shù)據(jù)132
6.4.2　SAS實現(xiàn)132
6.4.3　結(jié)果分析133
6.4.4　序列關(guān)聯(lián)分析136
6.4.5　結(jié)果應用137
6.5　本章小結(jié)138
第7章　社交網(wǎng)絡分析，從“關(guān)系
的角度分析問題139
7.1　先看幾張美輪美奐的圖片140
7.2　社交網(wǎng)絡分析方法142
7.2.1　定義142
7.2.2　應用場景142
7.2.3　網(wǎng)絡識別算法143
7.3　案例：電商通過訂單數(shù)據(jù)識別供應鏈144
7.3.1　供應鏈及供應鏈金融144
7.3.2　識別核心企業(yè)及其上下游關(guān)系144
7.3.3　分析結(jié)果的業(yè)務應用149
7.4　案例：P2P投資風險防范151
7.4.1　案例背景151
7.4.2　防范方法152
7.5　本章小結(jié)153
第8章　線性回歸，預測客戶價值155
8.1　數(shù)值預測156
8.2　回歸與擬合157
8.2.1　回歸就是擬合157
8.2.2　在Excel中添加趨勢線預測158
8.3　案例：信用卡客戶價值預測159
8.3.1　確定預測目標159
8.3.2　準備建模數(shù)據(jù)161
8.3.3　模型擬合163
8.3.4　模型評估165
8.4　基于客戶價值分層的業(yè)務策略167
8.5　本章小結(jié)167
第9章　Logistic回歸，精準營銷的
主要支撐算法169
9.1　大數(shù)據(jù)時代的精準營銷170
9.1.1　精準營銷170
9.1.2　基于大數(shù)據(jù)的精準營銷模式171
9.1.3　如何做到精準172
9.2　Logistic回歸算法介紹173
9.2.1　算法原理173
9.2.2　關(guān)鍵步驟174
9.3　案例：信用卡消費信貸產(chǎn)品的精準營銷176
9.3.1　案例背景176
9.3.2　數(shù)據(jù)準備176
9.3.3　數(shù)據(jù)預處理180
9.3.4　建模182
9.3.5　模型評估185
9.4　預測模型的應用與評估189
9.5　本章小結(jié)189
第10章　決策樹類算法，反欺詐
模型“專家”191
10.1　決策樹，重要的分類器191
10.2　決策樹的關(guān)鍵思想192
10.2.1　理財客戶畫像案例背景192
10.2.2　關(guān)鍵思想一：遞歸劃分194
10.2.3　關(guān)鍵思想二：剪枝197
10.3　案例：電商盜卡交易風險識別198
10.3.1　案例背景198
10.3.2　以SAS實現(xiàn)199
10.3.3　以Clementine實現(xiàn)201
10.3.4　以R實現(xiàn)204
10.4　隨機森林208
10.5　本章小結(jié)209
第11章　數(shù)據(jù)可視化，是分析更是
設計210
11.1　數(shù)據(jù)演示之道210
11.1.1　好“色”之圖211
11.1.2　版式有形212
11.1.3　數(shù)據(jù)發(fā)聲214
11.2　個性化地圖215
11.2.1　案例背景：存款增長率指標展示215
11.2.2　獲取地理位置的經(jīng)緯度數(shù)據(jù)216
11.2.3　定制地圖背景和圖標217
11.2.4　生成地圖220
11.3　文本分析222
11.3.1　案例：電商的客戶評價分析222
11.3.2　分詞223
11.3.3　詞云制作224
11.3.4　情感分析225
11.4　本章小結(jié)227
第三部分　應　用　篇
第12章　標簽系統(tǒng)231
12.1　認識標簽系統(tǒng)231
12.2　標簽系統(tǒng)的設計233
12.2.1　標簽系統(tǒng)的層次結(jié)構(gòu)233
12.2.2　標簽系統(tǒng)的更新規(guī)則233
12.2.3　機器學習模型轉(zhuǎn)化為標簽235
12.3　標簽系統(tǒng)的實現(xiàn)236
12.3.1　標簽映射表237
12.3.2　標簽系統(tǒng)的前端實現(xiàn)238
12.3.3　標簽系統(tǒng)的數(shù)據(jù)后端實現(xiàn)238
12.3.4　標簽系統(tǒng)的在線接口實現(xiàn)242
12.4　本章小結(jié)242
第13章　數(shù)據(jù)自助營銷平臺244
13.1　數(shù)據(jù)自助營銷平臺的價值所在245
13.1.1　自動化營銷，提升工作效率245
13.1.2　降低營銷成本，提升用戶體驗247
13.1.3　個性化營銷，提升響應率248
13.1.4　統(tǒng)一管理，便于效果追蹤249
13.2　數(shù)據(jù)自助營銷平臺的實現(xiàn)原則249
13.2.1　數(shù)據(jù)營銷活動的節(jié)點249
13.2.2　數(shù)據(jù)自助營銷平臺的基礎(chǔ)：標簽系統(tǒng)251
13.2.3　數(shù)據(jù)自助營銷平臺的批量任務252
13.2.4　實時數(shù)據(jù)營銷254
13.3　數(shù)據(jù)自助營銷平臺的場景實例254
13.3.1　客戶生命周期管理254
13.3.2　用卡激勵計劃257
13.4　本章小結(jié)260
第14章　基于Mahout的個性化推薦系統(tǒng)261
14.1　Mahout的推薦引擎262
14.1.1　Mahout的安裝配置262
14.1.2　Mahout的使用方式263
14.1.3　協(xié)同過濾算法264
14.1.4　Mahout的推薦引擎265
14.2　規(guī)模與效率268
14.2.1　Mahout推薦算法的適用范圍268
14.2.2　通過分布式解決規(guī)模和效率的問題270
14.3　實現(xiàn)一個推薦系統(tǒng)275
14.3.1　系統(tǒng)框架275
14.3.2　推薦系統(tǒng)的刷新276
14.3.3　部署一個可用的推薦系統(tǒng)276
14.4　本章小結(jié)280
第15章　圖計算與社會網(wǎng)絡281
15.1　社會網(wǎng)絡和屬性圖282
15.2　Spark GraphX與Neo4j283
15.2.1　Scala編程語言284
15.2.2　Cypher查詢語言285
15.3　使用Spark GraphX和Neo4j處理社會網(wǎng)絡286
15.3.1　背景說明286
15.3.2　數(shù)據(jù)準備286
15.3.3　Spark GraphX處理原始網(wǎng)絡287
15.3.4　Neo4j交互式查詢分析291
15.3.5　更多的應用場景295
15.4　本章小結(jié)296