數(shù)據(jù)流挖掘與在線學(xué)習(xí)算法

目錄
前言
第1 章 數(shù)據(jù)流機(jī)器學(xué)習(xí) . 1
1.1 大數(shù)據(jù)的兩種計(jì)算模式 .1
1.1.1 大數(shù)據(jù)離線分析 .1
1.1.2 批量處理方法 2
1.1.3 大數(shù)據(jù)實(shí)時(shí)分析 .3
1.1.4 在線學(xué)習(xí)方法 4
1.2 離線分析平臺(tái)Weka .5
1.2.1 數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí) 5
1.2.2 圖形用戶界面 6
1.2.3 ARFF 格式與示例數(shù)據(jù)集 .8
1.2.4 預(yù)處理過(guò)濾器 10
1.2.5 屬性選擇 11
1.2.6 可視化 12
1.3 數(shù)據(jù)流挖掘 .14
1.3.1 數(shù)據(jù)流挖掘循環(huán)過(guò)程 14
1.3.2 分類器評(píng)估 .15
1.3.3 分類方法 16
1.3.4 回歸 .22
1.3.5 聚類 .24
1.3.6 頻繁模式挖掘 27
1.4 數(shù)據(jù)流變化處理方法 30
1.4.1 數(shù)據(jù)流分布統(tǒng)計(jì)測(cè)試 30
1.4.2 概念漂移數(shù)據(jù)流產(chǎn)生 31
1.4.3 漂移評(píng)估與探測(cè) 33
1.4.4 自適應(yīng)滑動(dòng)窗口 . 34
1.4.5 數(shù)據(jù)流特征高維問(wèn)題 35
1.4.6 噪音數(shù)據(jù)流處理 . 36
1.5 大規(guī)模在線分析平臺(tái)MOA . 37
1.5.1 圖形用戶界面 37
1.5.2 命令行操作 39
1.5.3 數(shù)據(jù)源和數(shù)據(jù)流生成器 . 41
課程實(shí)驗(yàn)1 實(shí)驗(yàn)平臺(tái)安裝與操作 44
1.6.1 實(shí)驗(yàn)?zāi)康?. 44
1.6.2 實(shí)驗(yàn)環(huán)境 . 44
1.6.3 安裝平臺(tái) . 44
1.6.4 平臺(tái)操作 . 47
參考文獻(xiàn) . 50
第2 章 MOA 平臺(tái)機(jī)器學(xué)習(xí)實(shí)例 . 52
2.1 MOA 分類 52
2.1.1 MOA 分類器 . 52
2.1.2 樸素貝葉斯增量分類器 . 53
2.1.3 Hoeffding 自適應(yīng)窗口樹(shù) 55
2.1.4 MOA 分類實(shí)戰(zhàn)操作 . 57
2.2 集成分類實(shí)例 65
2.2.1 裝袋算法 . 65
2.2.2 提升算法 . 66
2.2.3 隨機(jī)森林算法 68
2.2.4 MOA 集成實(shí)戰(zhàn)操作 . 69
2.3 MOA 聚類 78
2.3.1 MOA 聚類設(shè)置 78
2.3.2 DBSCAN 密度聚類 81
2.3.3 Den-Stream 數(shù)據(jù)流聚類 . 82
2.3.4 MOA 聚類實(shí)戰(zhàn)操作 . 83
2.4 頻繁閉合項(xiàng)集挖掘算法 . 90
2.4.1 MOA 擴(kuò)展包 . 90
2.4.2 MOA 加載配置IncMine 擴(kuò)展包 91
2.4.3 Java 調(diào)用IncMine 對(duì)象和選項(xiàng) 92
2.4.4 Eclipse 環(huán)境下開(kāi)發(fā)IncMine 代碼 93
課程實(shí)驗(yàn)2 數(shù)據(jù)分類 95
2.5.1 實(shí)驗(yàn)?zāi)康?95
2.5.2 實(shí)驗(yàn)環(huán)境 96
2.5.3 Weka 分類 96
2.5.4 MOA 分類 99
參考文獻(xiàn) 104
第3 章 數(shù)據(jù)流在線學(xué)習(xí)模型與典型算法 105
3.1 數(shù)據(jù)流挖掘sketch 105
3.1.1 sketch 概念與包含的操作 105
3.1.2 自適應(yīng)滑動(dòng)窗口ADwin 106
3.1.3 數(shù)據(jù)流挖掘幾種代表性sketch . 108
3.2 在線學(xué)習(xí)定義與類型 . 116
3.2.1 在線學(xué)習(xí)定義 . 116
3.2.2 在線學(xué)習(xí)算法類型劃分 117
3.2.3 在線學(xué)習(xí)常用數(shù)據(jù)集 . 120
3.2.4 集成學(xué)習(xí)與并行化處理方式 . 124
3.3 基于批次FCIs 的滑動(dòng)窗口更新 . 126
3.3.1 semi-FCI 概念 . 126
3.3.2 基于批次的IncMine 滑動(dòng)窗口更新 . 127
3.4 在線低秩表示矩陣更新 128
3.4.1 低秩矩陣模型 . 128
3.4.2 在線更新低秩表示矩陣 129
3.5 在線對(duì)偶平均多任務(wù)學(xué)習(xí)框架 130
3.5.1 任務(wù)與特征選擇混合范數(shù) 130
3.5.2 特征權(quán)重矩陣在線更新 131
3.6 在線－離線結(jié)合的數(shù)據(jù)流聚類算法 . 132
3.6.1 層次聚類算法 . 132
3.6.2 基于密度的聚類算法 . 132
3.7 數(shù)據(jù)流微分類器集成檢測(cè)概念演變 . 133
3.7.1 微分類器集成 . 133
3.7.2 概念演變檢測(cè)與分類 . 134
3.8 在線惰性自適應(yīng)學(xué)習(xí)算法 135
3.8.1 雙存儲(chǔ)機(jī)制 135
3.8.2 SAM-KNN 分類 135
課程實(shí)驗(yàn)3 數(shù)據(jù)聚類 . 136
3.9.1 實(shí)驗(yàn)?zāi)康?136
3.9.2 實(shí)驗(yàn)環(huán)境 136
3.9.3 Weka 聚類 136
3.9.4 MOA 聚類 139
參考文獻(xiàn) 141
第4 章 離線挖掘頻繁閉合項(xiàng)集 . 144
4.1 算法背景 144
4.1.1 離線挖掘頻繁項(xiàng)集 . 144
4.1.2 頻繁閉合項(xiàng)集 145
4.2 Charm 批量挖掘頻繁閉合項(xiàng)集 146
4.2.1 項(xiàng)集-事務(wù)集鍵值對(duì) 146
4.2.2 Itemset-Tidset 前綴搜索樹(shù) . 147
4.2.3 Charm 處理關(guān)系表型數(shù)據(jù) . 148
4.2.4 Charm 偽代碼 148
4.3 程序主類實(shí)現(xiàn) 150
4.3.1 Charm 程序組成 150
4.3.2 Main 類代碼 150
4.4 模式分類的性能比較 155
4.4.1 Output 類代碼 155
4.4.2 模式與訓(xùn)練數(shù)據(jù)集分類 157
4.4.3 抗噪音性能 . 158
課程實(shí)驗(yàn)4 頻繁模式挖掘 . 159
4.5.1 實(shí)驗(yàn)?zāi)康?159
4.5.2 實(shí)驗(yàn)環(huán)境 159
4.5.3 Weka 頻繁項(xiàng)與關(guān)聯(lián)規(guī)則挖掘 . 160
參考文獻(xiàn) 162
第5 章 頻繁子序列與基因表達(dá)數(shù)據(jù)雙向聚類 . 163
5.1 雙向聚類算法 163
5.1.1 單向聚類與全局模式 163
5.1.2 雙聚類與局部模式 . 163
5.2 基因表達(dá)保序子矩陣方法與實(shí)現(xiàn) . 164
5.2.1 基因表達(dá)保序子矩陣 164
5.2.2 頻繁閉合子序列挖掘算法 . 165
5.2.3 Charm_Seq 程序結(jié)構(gòu) 166
5.3 Main 類代碼 167
5.4 AlgoCharm_Bitset 類代碼 171
課程實(shí)驗(yàn)5 基因數(shù)據(jù)局部模式挖掘 . 177
5.5.1 實(shí)驗(yàn)?zāi)康?177
5.5.2 實(shí)驗(yàn)環(huán)境 177
5.5.3 輸入基因表達(dá)數(shù)據(jù) 178
5.5.4 基因表達(dá)值排序 178
5.5.5 基因表達(dá)值替換為列標(biāo)簽 179
5.5.6 挖掘公共閉合子序列 . 180
5.5.7 Charm_Seq 雙向聚類信息 182
參考文獻(xiàn) 183
第6 章 數(shù)據(jù)流顯露模式與貝葉斯分類 184
6.1 基于模式的數(shù)據(jù)流分類方法 . 184
6.1.1 數(shù)據(jù)流分類流程 184
6.1.2 基于模式的數(shù)據(jù)流分類 185
6.2 IncMine 算法 185
6.2.1 算法思想 185
6.2.2 Main 代碼 . 186
6.2.3 IncMine 輸入數(shù)據(jù)流 187
6.3 IncMine 概念漂移檢測(cè) . 189
6.3.1 概念漂移種類 . 189
6.3.2 基于頻繁項(xiàng)集數(shù)量監(jiān)控概念漂移 190
6.4 基于顯露模式的數(shù)據(jù)流貝葉斯分類算法 192
6.4.1 貝葉斯分類與顯露模式 192
6.4.2 關(guān)系表型數(shù)據(jù)流半懶惰學(xué)習(xí) . 193
6.4.3 實(shí)驗(yàn)結(jié)果與分析 195
課程實(shí)驗(yàn)6 IncMine 概念漂移檢測(cè) 196
6.5.1 實(shí)驗(yàn)?zāi)康?196
6.5.2 實(shí)驗(yàn)環(huán)境 196
6.5.3 命令行方式運(yùn)行IncMine 196
6.5.4 Eclipse 環(huán)境下IncMine 配置與運(yùn)行 . 197
6.5.5 合成數(shù)據(jù)流 199
6.5.6 概念漂移檢測(cè) . 200
參考文獻(xiàn) 201
第7 章 在線特征稀疏學(xué)習(xí) 202
7.1 嵌入式特征選擇 202
7.1.1 特征子集搜索 . 202
7.1.2 L1 正則稀疏化 204
7.1.3 LASSO 的在線學(xué)習(xí)算法 . 206
7.2 多任務(wù)在線學(xué)習(xí)與特征選擇 207
7.2.1 正則化對(duì)偶平均在線學(xué)習(xí)框架 207
7.2.2 多任務(wù)學(xué)習(xí)時(shí)空代價(jià)分析 . 209
7.3 多任務(wù)加速在線學(xué)習(xí)算法 . 210
7.3.1 加速的多任務(wù)在線學(xué)習(xí)算法 210
7.3.2 求解權(quán)重矩陣的閉式解 211
7.3.3 算法收斂理論分析 . 212
7.4 協(xié)同過(guò)濾在線學(xué)習(xí) . 215
7.4.1 概率矩陣分解 215
7.4.2 對(duì)偶平均加速在線PMF . 216
7.4.3 實(shí)驗(yàn)驗(yàn)證 218
課程實(shí)驗(yàn)7 KDD Cup99 分類實(shí)戰(zhàn) 220
7.5.1 實(shí)驗(yàn)?zāi)康?220
7.5.2 實(shí)驗(yàn)環(huán)境 220
7.5.3 數(shù)據(jù)集預(yù)處理 221
7.5.4 分類性能比較 225
參考文獻(xiàn) 227
第8 章 低秩表示在線學(xué)習(xí) 228
8.1 字典學(xué)習(xí)與稀疏表示 228
8.1.1 字典學(xué)習(xí) 229
8.1.2 數(shù)據(jù)集字典學(xué)習(xí)優(yōu)化與求解 230
8.2 低秩子空間學(xué)習(xí) 231
8.2.1 預(yù)備知識(shí) 231
8.2.2 魯棒主成分分析 233
8.2.3 低秩矩陣表示 234
8.3 魯棒主成分分析求解 234
8.3.1 RPCA 優(yōu)化表達(dá)式 235
8.3.2 RPCA 求解 235
8.3.3 圖像背景建模應(yīng)用 . 237
8.4 低秩矩陣表示求解 . 237
8.4.1 LRR 優(yōu)化表達(dá)式 . 238
8.4.2 LRR 求解 . 238
8.4.3 數(shù)據(jù)表示矩陣Z 稀疏性 239
8.5 結(jié)構(gòu)化增量子空間聚類算法 . 240
8.5.1 靜態(tài)學(xué)習(xí)階段 . 240
8.5.2 構(gòu)建相似矩陣 . 241
8.5.3 相似度矩陣的動(dòng)態(tài)更新 242
8.5.4 結(jié)構(gòu)化增量子空間聚類算法 . 242
8.6 噪音魯棒增量子空間表示算法 243
8.6.1 靜態(tài)子空間結(jié)構(gòu) 243
8.6.2 相似度矩陣的動(dòng)態(tài)更新 244
8.6.3 噪音魯棒增量子空間表示算法 244
課程實(shí)驗(yàn)8 基于詞袋模型的文本數(shù)據(jù)分類 . 245
8.7.1 實(shí)驗(yàn)?zāi)康?245
8.7.2 實(shí)驗(yàn)環(huán)境 245
8.7.3 Weka 文本分類 245
8.7.4 MOA 文本分類 . 249
參考文獻(xiàn) 251
第9 章 可變數(shù)據(jù)流重復(fù)類與新類檢測(cè) 252
9.1 重復(fù)性概念 252
9.1.1 數(shù)據(jù)流分布重現(xiàn) 252
9.1.2 分類器再利用 . 252
9.2 微分類器與ART 聚類 254
9.2.1 微分類器與微簇 254
9.2.2 K 均值聚類 255
9.2.3 ART 聚類 256
9.3 自適應(yīng)諧振理論ART 256
9.3.1 ART 處理流程 257
9.3.2 網(wǎng)絡(luò)學(xué)習(xí)算法 . 258
9.3.3 ART 聚類示例 259
9.4 微分類器集成與分類 . 263
9.4.1 可變數(shù)據(jù)流構(gòu)建微分類器集成 264
9.4.2 集成分類與離群點(diǎn)識(shí)別 264
9.5 新類檢測(cè) 266
9.5.1 U-outliers 定量度量 . 266
9.5.2 新類檢測(cè) 267
課程實(shí)驗(yàn)9 K 均值聚類分析 . 267
9.6.1 實(shí)驗(yàn)?zāi)康?267
9.6.2 實(shí)驗(yàn)環(huán)境 268
9.6.3 Weka 平臺(tái)K 均值聚類 268
9.6.4 MOA 平臺(tái)K 均值聚類相關(guān)分析 270
參考文獻(xiàn) 273
第10 章 KNN 自適應(yīng)存儲(chǔ)處理異質(zhì)概念漂移 . 274
10.1 數(shù)據(jù)流測(cè)試－訓(xùn)練交替評(píng)估方式 274
10.1.1 交替測(cè)試—訓(xùn)練錯(cuò)誤評(píng)估 274
10.1.2 數(shù)據(jù)流概念漂移種類 275
10.2 自適應(yīng)存儲(chǔ)模型 276
10.2.1 模型體系結(jié)構(gòu) 276
10.2.2 SAM-KNN 分類 277
10.3 SAM 模型自適應(yīng)性 . 278
10.3.1 模型參數(shù) . 278
10.3.2 STM 新概念適應(yīng)性 278
10.3.3 清理與轉(zhuǎn)化實(shí)例操作 279
10.3.4 LTM 聚類壓縮 . 280
10.4 集成SAM-KNN . 280
10.4.1 SAM 在線裝袋 . 280
10.4.2 SAM 集成算法 . 281
10.4.3 參數(shù)對(duì)集成分類準(zhǔn)確度的影響分析 282
課程實(shí)驗(yàn)10 KNN 分類方法 . 284
10.5.1 實(shí)驗(yàn)?zāi)康?. 284
10.5.2 實(shí)驗(yàn)環(huán)境 . 284
10.5.3 Weka 平臺(tái)KNN 分類 284
10.5.4 MOA 平臺(tái)SAM-KNN 分類 287
參考文獻(xiàn) 289