Python機(jī)器學(xué)習(xí)算法：原理、實(shí)現(xiàn)與案例

目    錄
第1章  線性回歸 1
1.1  線性回歸模型 1
1.2  小二乘法 2
1.3  梯度下降 4
1.3.1  梯度下降算法 4
1.3.2  隨機(jī)梯度下降和小批量梯度下降 6
1.4  算法實(shí)現(xiàn) 7
1.4.1  小二乘法 7
1.4.2  梯度下降 9
1.5  項(xiàng)目實(shí)戰(zhàn) 12
1.5.1  準(zhǔn)備數(shù)據(jù) 12
1.5.2  模型訓(xùn)練與測(cè)試 13
第2章  Logistic回歸與Softmax回歸 20
2.1  Logistic回歸 20
2.1.1  線性模型 20
2.1.2  logistic函數(shù) 21
2.1.3  Logistic回歸模型 23
2.1.4  極大似然法估計(jì)參數(shù) 24
2.1.5  梯度下降更新公式 25
2.2  Softmax回歸 26
2.2.1  Softmax函數(shù) 26
2.2.2  Softmax回歸模型 27
2.2.3  梯度下降更新公式 27
2.3  編碼實(shí)現(xiàn) 28
2.3.1  Logistic回歸 28
2.3.2  Softmax回歸 32
2.4  項(xiàng)目實(shí)戰(zhàn) 36
2.4.1  Logistic回歸 36
2.4.2  Softmax回歸 43
第3章  決策樹(shù)——分類(lèi)樹(shù) 46
3.1  決策樹(shù)模型 46
3.2  生成決策樹(shù) 48
3.3  切分特征的選擇 49
3.3.1  信息熵 49
3.3.2  條件信息熵 50
3.3.3  信息增益 51
3.3.4  信息增益比 53
3.4  算法實(shí)現(xiàn) 53
3.5  繪制決策樹(shù) 57
3.6  項(xiàng)目實(shí)戰(zhàn) 64
3.6.1  準(zhǔn)備數(shù)據(jù) 64
3.6.2  模型訓(xùn)練與測(cè)試 66
第4章  決策樹(shù)——分類(lèi)回歸樹(shù) 70
4.1  CART算法的改進(jìn) 70
4.2  處理連續(xù)值特征 71
4.3  CART分類(lèi)樹(shù)與回歸樹(shù) 72
4.3.1  CART分類(lèi)樹(shù) 72
4.3.2  CART回歸樹(shù) 74
4.4  算法實(shí)現(xiàn) 75
4.4.1  CART分類(lèi)樹(shù) 75
4.4.2  CART回歸樹(shù) 80
4.5  項(xiàng)目實(shí)戰(zhàn) 85
4.5.1  CART分類(lèi)樹(shù) 85
4.5.2  CART回歸樹(shù) 89
第5章  樸素貝葉斯 95
5.1  樸素貝葉斯模型 95
5.1.1  貝葉斯公式 95
5.1.2  貝葉斯分類(lèi)器 97
5.1.3  樸素貝葉斯分類(lèi)器 97
5.2  模型參數(shù)估計(jì) 98
5.2.1  極大似然估計(jì) 98
5.2.2  貝葉斯估計(jì) 102
5.3  算法實(shí)現(xiàn) 103
5.4  項(xiàng)目實(shí)戰(zhàn) 105
5.4.1  準(zhǔn)備數(shù)據(jù) 106
5.4.2  模型訓(xùn)練與測(cè)試 108
第6章  支持向量機(jī) 110
6.1  線性可分支持向量機(jī) 110
6.1.1  分離超平面 110
6.1.2  間隔化 112
6.1.3  拉格朗日對(duì)偶法 113
6.1.4  分類(lèi)決策函數(shù) 116
6.1.5  線性可分支持向量機(jī)算法 117
6.2  線性支持向量機(jī) 118
6.2.1  軟間隔化 118
6.2.2  線性支持向量機(jī)算法 121
6.3  非線性支持向量機(jī) 122
6.3.1  空間變換 122
6.3.2  核技巧 123
6.3.3  非線性支持向量機(jī)算法 124
6.4  SMO算法 125
6.4.1  兩個(gè)變量化問(wèn)題的求解 126
6.4.2  變量選擇 129
6.4.3  更新b 131
6.4.4  更新E緩存 132
6.5  算法實(shí)現(xiàn) 133
6.6  項(xiàng)目實(shí)戰(zhàn) 139
6.6.1  準(zhǔn)備數(shù)據(jù) 140
6.6.2  模型訓(xùn)練與測(cè)試 141
第7章  k近鄰學(xué)習(xí) 145
7.1  kNN學(xué)習(xí) 145
7.1.1  kNN學(xué)習(xí)模型 145
7.1.2  距離的度量 146
7.1.3  k值的選擇 149
7.2  kNN的一種實(shí)現(xiàn)：k-d樹(shù) 150
7.2.1  構(gòu)造k-d樹(shù) 150
7.2.2  搜索k-d樹(shù) 153
7.3  算法實(shí)現(xiàn) 155
7.3.1  線性掃描版本 155
7.3.2  k-d樹(shù)版本 157
7.4  項(xiàng)目實(shí)戰(zhàn) 161
7.4.1  準(zhǔn)備數(shù)據(jù) 162
7.4.2  模型訓(xùn)練與測(cè)試 163
第8章  K-Means 167
8.1  K-Means 167
8.1.1  距離的度量 168
8.1.2  聚類(lèi)算法的性能 169
8.1.3  K-Means算法 171
8.2  K-Means 172
8.3  算法實(shí)現(xiàn) 173
8.3.1  K-Means 173
8.3.2  K-Means 176
8.4  項(xiàng)目實(shí)戰(zhàn) 179
8.4.1  準(zhǔn)備數(shù)據(jù) 180
8.4.2  模型訓(xùn)練與測(cè)試 181
第9章  人工神經(jīng)網(wǎng)絡(luò) 184
9.1  神經(jīng)網(wǎng)絡(luò) 184
9.1.1  人造神經(jīng)元 184
9.1.2  神經(jīng)網(wǎng)絡(luò) 187
9.2  反向傳播算法 188
9.2.1  輸出節(jié)點(diǎn)的權(quán)值更新 189
9.2.2  隱藏節(jié)點(diǎn)的權(quán)值更新 190
9.3  算法實(shí)現(xiàn) 192
9.3.1  神經(jīng)網(wǎng)絡(luò)分類(lèi)器 192
9.3.2  神經(jīng)網(wǎng)絡(luò)回歸器 196
9.4  項(xiàng)目實(shí)戰(zhàn) 202
9.4.1  準(zhǔn)備數(shù)據(jù) 203
9.4.2  模型訓(xùn)練與測(cè)試 206