現(xiàn)代決策樹模型及其編程實踐：從傳統(tǒng)決策樹到深度決策樹

贊譽(yù)
推薦序一
推薦序二
推薦序三
前言
第1章決策樹與人工智能1
1.1決策與智能1
1.2決策樹算法的起源2
1.3決策樹的核心術(shù)語4
1.4決策樹的可解釋性5
1.5作為決策分析工具的決策樹7
1.5.1決策分析8
1.5.2基于決策分析流程的決策樹9
1.6作為機(jī)器學(xué)習(xí)算法的決策樹15
1.6.1機(jī)器學(xué)習(xí)算法的類型15
1.6.2基于數(shù)據(jù)的決策樹18
1.6.3決策樹算法面臨的基本問題24
1.6.4基于規(guī)則的機(jī)器學(xué)習(xí)27
1.7作為特征學(xué)習(xí)與決策融合的決策樹30
1.8參考文獻(xiàn)31
第2章經(jīng)典決策樹算法33
2.1經(jīng)典決策樹應(yīng)用的一般流程33
2.1.1缺失值的處理33
2.1.2連續(xù)數(shù)值屬性的離散化處理34
2.2CART算法34
2.2.1基尼不純度、基尼增益與基尼指數(shù)34
2.2.2CART分類決策樹的原理38
2.2.3CART分類決策樹的編程實踐43
2.2.4回歸問題與回歸算法55
2.2.5CART回歸決策樹的特征和分割點(diǎn)選擇準(zhǔn)則65
2.2.6CART回歸決策樹的原理66
2.2.7CART回歸決策樹的編程實踐70
2.3ID3算法75
2.3.1信息熵與信息增益75
2.3.2ID3算法示例78
2.3.3ID3算法的編程實踐84
2.4C4.5算法87
2.4.1信息增益率88
2.4.2連續(xù)屬性的處理88
2.4.3缺失值的處理88
2.4.4基于C4.5算法處理連續(xù)屬性生成分類決策樹的示例91
2.4.5C4.5算法的后續(xù)改進(jìn)——C5.0算法96
2.5決策樹的評估98
2.6決策樹的5種可視化方法100
2.7小結(jié)107
2.8參考文獻(xiàn)107
第3章決策樹的剪枝109
3.1代價復(fù)雜度剪枝110
3.1.1CCP算法的基本原理110
3.1.2CCP算法的編程實踐113
3.1.3基于sklearn的CCP示例121
3.2錯誤率降低剪枝127
3.2.1REP算法的基本原理127
3.2.2REP算法的編程實踐128
3.3悲觀錯誤剪枝133
3.3.1PEP算法的基本原理133
3.3.2PEP算法的編程實踐135
3.4最小錯誤剪枝139
3.4.1MEP算法的基本原理139
3.4.2MEP算法的編程實踐140
3.5其他決策樹剪枝算法簡介145
3.6小結(jié)147
3.7參考文獻(xiàn)147
第4章隨機(jī)森林149
4.1隨機(jī)森林的基本原理149
4.1.1構(gòu)造隨機(jī)森林的步驟150
4.1.2隨機(jī)森林的簡單示例151
4.1.3基于sklearn的隨機(jī)森林編程示例152
4.1.4選擇最優(yōu)的隨機(jī)特征屬性數(shù)量153
4.2套袋法156
4.2.1套袋法的算法流程157
4.2.2套袋法的偏差和方差157
4.2.3套袋法的優(yōu)缺點(diǎn)159
4.3隨機(jī)森林的參數(shù)設(shè)置與調(diào)優(yōu)159
4.3.1sklearn隨機(jī)森林的參數(shù)159
4.3.2調(diào)參示例161
4.3.3OOB錯誤率與交叉驗證166
4.4隨機(jī)森林的優(yōu)缺點(diǎn)174
4.5使用隨機(jī)森林進(jìn)行特征屬性的重要性區(qū)分的示例175
4.5.1基于基尼指數(shù)的特征屬性重要性評估175
4.5.2基于袋外數(shù)據(jù)錯誤率的特征屬性重要性評估177
4.6使用隨機(jī)森林進(jìn)行無監(jiān)督聚類的示例179
4.7使用隨機(jī)森林進(jìn)行回歸分析的示例182
4.8隨機(jī)森林與核方法的結(jié)合184
4.9小結(jié)186
4.10參考文獻(xiàn)186
第5章集成學(xué)習(xí)方法188
5.1提升法188
5.1.1AdaBoost算法原理189
5.1.2AdaBoost算法實現(xiàn)199
5.1.3AdaBoost算法的編程實踐——基于sklearn解決分類問題203
5.1.4AdaBoost算法的編程實踐——基于sklearn解決回歸問題205
5.1.5提升法的分類、優(yōu)點(diǎn)和挑戰(zhàn)207
5.2梯度提升法208
5.2.1梯度提升法的原理和示例208
5.2.2梯度提升決策樹211
5.2.3梯度提升分類決策樹213
5.2.4梯度提升回歸決策樹223
5.2.5隨機(jī)梯度提升樹227
5.2.6基于梯度提升法的機(jī)器學(xué)習(xí)庫228
5.3堆疊法233
5.3.1簡單的二階段堆疊算法234
5.3.2基于K折交叉驗證的二階段堆疊法237
5.3.3基于sklearn的K折交叉驗證的二階段堆疊法的編程實踐238
5.3.4多階段堆疊模型247
5.4套袋法、提升法、堆疊法的比較250
5.5小結(jié)252
5.6參考文獻(xiàn)253
第6章并行決策樹256
6.1隨機(jī)森林的并行化256
6.2XGBoost基礎(chǔ)259
6.2.1XGBoost核心原理260
6.2.2XGBoost系統(tǒng)設(shè)計及其并行化加速270
6.2.3XGBoost編程基礎(chǔ)272
6.2.4XGBoost回歸問題編程275
6.2.5XGBoost分類問題編程277
6.2.6XGBoost隨機(jī)森林編程278
6.2.7XGBoost特征篩選編程281
6.2.8XGBoost與傳統(tǒng)提升樹的比較283
6.2.9XGBoost的缺點(diǎn)284
6.3LightGBM基礎(chǔ)284
6.3.1LightGBM核心原理285
6.3.2LightGBM系統(tǒng)設(shè)計及其并行化加速291
6.3.3LigthGBM編程基礎(chǔ)294
6.3.4LightGBM與sklearn結(jié)合的示例300
6.3.5LightGBM回歸問題編程302
6.3.6LightGBM分類問題編程303
6.3.7LightGBM的優(yōu)缺點(diǎn)305
6.4CatBoost基礎(chǔ)306
6.4.1CatBoost核心原理306
6.4.2CatBoost系統(tǒng)設(shè)計及其并行化加速313
6.4.3CatBoost編程基礎(chǔ)313
6.4.4CatBoost分類問題編程（不帶分類特征屬性）317
6.4.5CatBoost回歸問題編程（不帶分類特征屬性）319
6.4.6CatBoost回歸問題編程（帶分類特征屬性）321
6.4.7CatBoost的優(yōu)缺點(diǎn)323
6.4.8XGBoost、LightGBM、CatBoost的比較324
6.5NGBoost簡介325
6.6小結(jié)326
6.7參考文獻(xiàn)326
第7章蟻群決策樹329
7.1蟻群元啟發(fā)式算法329
7.1.1典型蟻群算法330
7.1.2MMAS算法331
7.1.3ACS算法332
7.2基于蟻群的分類規(guī)則提取333
7.2.1Ant-Miner規(guī)則提取方法334
7.2.2Ant-Miner算法實現(xiàn)339
7.2.3Ant-Miner算法的早期變種345
7.2.4MYRA——開源實現(xiàn)349
7.2.5Ant-MinerMA G算法350
7.2.6AMclr算法353
7.3蟻群