數據挖掘方法與應用

目 錄


第1章 數據挖掘概述 1
1.1 數據挖掘的產生與發(fā)展 1
1.1.1 數據挖掘概念的提出 2
1.1.2 數據挖掘系統(tǒng)的發(fā)展 3
1.1.3 當前熱點和未來趨勢 5
1.2 數據挖掘過程 10
1.2.1 Fayyad過程模型 10
1.2.2 CRISP-DM過程模型 11
1.3 數據挖掘功能與使用技術 21
1.3.1 數據挖掘功能 21
1.3.2 數據挖掘使用技術 22
1.4 數據挖掘應用 26
1.4.1 金融領域的數據挖掘 26
1.4.2 電信領域的數據挖掘 26
1.4.3 零售與電子商務領域的數據挖掘 27
1.4.4 政府政務領域的數據挖掘 27
1.4.5 醫(yī)療領域的數據挖掘 28
1.4.6 科學領域的數據挖掘 28
1.5 練習與拓展 28
第2章 數據挖掘工具 30
2.1 Weka 30
2.1.1 Weka簡述 30
2.1.2 Weka運行界面 31
2.2 IBM SPSS Modeler 34
2.2.1 IBM SPSS Modeler簡述 34
2.2.2 IBM SPSS Modeler主界面及功能 35
2.3 R語言 41
2.3.1 R語言簡述 41
2.3.2 RStudio 42
2.3.3 R語言與數據挖掘 42
2.4 Python語言 45
2.4.1 Python語言簡述 45
2.4.2 Python與數據分析 46
2.4.3 Anaconda 46
2.5 練習與拓展 50
第3章 數據與數據平臺 51
3.1 數據類型 51
3.1.1 數據形態(tài)與數據類型 51
3.1.2 數據環(huán)境與數據類型 54
3.2 關系型數據庫 55
3.2.1 關系型數據庫概述 55
3.2.2 關系型數據庫管理系統(tǒng) 56
3.3 NoSQL數據庫 57
3.3.1 鍵值數據庫 57
3.3.2 文檔數據庫 58
3.3.3 列族數據庫 60
3.3.4 圖數據庫 61
3.4 數據倉庫與大數據平臺 63
3.4.1 數據倉庫 63
3.4.2 大數據平臺 68
3.5 練習與拓展 74
第4章 數據預處理 75
4.1 數據預處理概述 75
4.1.1 原始數據中存在的問題 75
4.1.2 數據預處理的主要任務 77
4.2 數據清洗 77
4.2.1 缺失數據處理 77
4.2.2 異常數據處理 78
4.3 數據集成 80
4.3.1 模式匹配及數值一致化 80
4.3.2 刪除冗余數據 81
4.4 數據變換 82
4.4.1 定性數據數值化 82
4.4.2 定量數據離散化和規(guī)范化 83
4.4.3 不平衡數據處理 84
4.5 數據歸約 85
4.5.1 屬性的歸約 85
4.5.2 記錄的歸約 87
4.5.3 數值的歸約 88
4.6 練習與拓展 89
第5章 關聯(lián)分析 90
5.1 關聯(lián)分析概述 90
5.1.1 關聯(lián)分析基本概念 91
5.1.2 關聯(lián)規(guī)則挖掘的基本過程 93
5.2 Apriori算法 94
5.2.1 Apriori性質 94
5.2.2 Apriori算法的頻繁項集產生 95
5.3 強關聯(lián)規(guī)則的悖論 99
5.3.1 強關聯(lián)規(guī)則不一定是有趣的規(guī)則 99
5.3.2 基于提升度過濾無趣的強關聯(lián)規(guī)則 100
5.3.3 基于支持度、置信度及提升度的關聯(lián)規(guī)則發(fā)現 100
5.4 基于IBM SPSS Modeler的應用 103
5.4.1 事實表數據的應用示例 103
5.4.2 事務表數據的應用示例 113
5.5 基于R語言的應用 123
5.5.1 數據初探 123
5.5.2 可視化交易數據 125
5.5.3 挖掘關聯(lián)規(guī)則 127
5.5.4 可視化關聯(lián)規(guī)則 130
5.6 練習與拓展 134
第6章 決策樹 136
6.1 決策樹概述 136
6.1.1 決策樹分析相關概念 137
6.1.2 決策樹分析核心問題 138
6.2 ID3算法 138
6.2.1 信息論的基本概念 138
6.2.2 ID3算法基本原理 139
6.2.3 使用ID3算法建立決策樹 141
6.3 C5.0算法 143
6.3.1 C5.0算法的決策樹生長 144
6.3.2 C5.0算法的決策樹修剪 149
6.4 基于IBM SPSS Modeler的應用 151
6.4.1 數據讀取與審核 152
6.4.2 探索性分析 153
6.4.3 數據預處理 158
6.4.4 決策樹模型構建與評估：基于C5.0算法 163
6.4.5 預測結果 170
6.5 基于R語言的應用 171
6.5.1 數據探索 172
6.5.2 數據分區(qū) 177
6.5.3 模型訓練與評估 178
6.5.4 使用boosting和代價矩陣調整模型 181
6.6 練習與拓展 184
第7章 貝葉斯分類 185
7.1 貝葉斯分類概述 185
7.1.1 貝葉斯定理 186
7.1.2 貝葉斯信念網絡 186
7.2 樸素貝葉斯分類 188
7.2.1 樸素貝葉斯分類原理 188
7.2.2 樸素貝葉斯分類計算示例 191
7.2.3 零概率問題：拉普拉斯平滑 193
7.3 TAN貝葉斯分類 194
7.3.1 TAN貝葉斯網絡結構 194
7.3.2 TAN貝葉斯分類過程 195
7.4 基于IBM SPSS Modeler的應用 196
7.4.1 數據讀取與審核 198
7.4.2 探索性分析 199
7.4.3 數據預處理 208
7.4.4 TAN貝葉斯分類模型構建與評估 210
7.5 基于R語言的應用 214
7.5.1 數據探索 214
7.5.2 文本數據預處理 215
7.5.3 劃分數據集 219
7.5.4 詞云分析 221
7.5.5 模型訓練與評估 223
7.6 練習與拓展 225
第8章 神經網絡 226
8.1 神經網絡概述 226
8.1.1 生物神經元與人工神經元 226
8.1.2 激活函數 227
8.1.3 神經網絡的拓撲結構 230
8.2 BP神經網絡 232
8.2.1 BP神經網絡的學習過程 232
8.2.2 BP算法描述 237
8.2.3 前饋神經網絡計算示例 238
8.3 卷積神經網絡 240
8.3.1 卷積層 240
8.3.2 激活層 243
8.3.3 池化層 244
8.3.4 全連接層 244
8.4 基于IBM SPSS Modeler的應用 245
8.4.1 數據讀取 246
8.4.2 “數據審核”節(jié)點預處理 247
8.4.3 探索性分析 250
8.4.4 分區(qū)與平衡 251
8.4.5 模型構建與評價 252
8.5 基于R語言的應用 260
8.5.1 數據初探 260
8.5.2 數據轉換與分區(qū) 263
8.5.3 模型構建與評價 263
8.6 練習與拓展 268
參考文獻 270