機(jī)器學(xué)習(xí)：從公理到算法

第 1章引言 .............................................................................................1 1.1機(jī)器學(xué)習(xí)的目的：從數(shù)據(jù)到知識(shí) .....................................................1 1.2機(jī)器學(xué)習(xí)的基本框架 .....................................................................2 1.2.1數(shù)據(jù)集合與對(duì)象特性表示 .....................................................3 1.2.2學(xué)習(xí)判據(jù) ............................................................................4 1.2.3學(xué)習(xí)算法 ............................................................................5 1.3機(jī)器學(xué)習(xí)思想簡(jiǎn)論 .........................................................................5延伸閱讀 ..............................................................................................7習(xí)題 ....................................................................................................8參考文獻(xiàn) ..............................................................................................9 第 2章歸類(lèi)理論..................................................................................... 11 2.1類(lèi)表示公理 ................................................................................. 13 2.2歸類(lèi)公理 .................................................................................... 17 2.3歸類(lèi)結(jié)果分類(lèi) ............................................................................. 20 2.4歸類(lèi)方法設(shè)計(jì)準(zhǔn)則 ....................................................................... 22 2.4.1類(lèi)一致性準(zhǔn)則 ................................................................... 23 2.4.2類(lèi)緊致性準(zhǔn)則 ................................................................... 23 2.4.3類(lèi)分離性準(zhǔn)則 ................................................................... 25 2.4.4奧卡姆剃刀準(zhǔn)則 ................................................................ 25討論 .................................................................................................. 27延伸閱讀 ............................................................................................ 29習(xí)題 .................................................................................................. 30參考文獻(xiàn) ............................................................................................ 31 第 3章密度估計(jì)..................................................................................... 33 3.1密度估計(jì)的參數(shù)方法 ................................................................... 33 3.1.1最大似然估計(jì) ................................................................... 33 3.1.2貝葉斯估計(jì) ....................................................................... 35 3.2密度估計(jì)的非參數(shù)方法 ................................................................ 39 3.2.1直方圖 ............................................................................. 39 3.2.2核密度估計(jì) ....................................................................... 39 3.2.3 K近鄰密度估計(jì)法 ............................................................ 40延伸閱讀 ............................................................................................ 40習(xí)題 .................................................................................................. 41參考文獻(xiàn) ............................................................................................ 41 第 4章回歸 ........................................................................................... 43 4.1線性回歸 .................................................................................... 43 4.2嶺回歸 ....................................................................................... 47 4.3 Lasso回歸 .................................................................................. 48討論 .................................................................................................. 51習(xí)題 .................................................................................................. 52參考文獻(xiàn) ............................................................................................ 52 第 5章單類(lèi)數(shù)據(jù)降維 .............................................................................. 53 5.1主成分分析 ................................................................................. 54 5.2非負(fù)矩陣分解 ............................................................................. 56 5.3字典學(xué)習(xí)與稀疏表示 ................................................................... 57 5.4局部線性嵌入 ............................................................................. 59 5.5典型關(guān)聯(lián)分析 ............................................................................. 62 5.6多維度尺度分析與等距映射 ......................................................... 63討論 .................................................................................................. 65習(xí)題 .................................................................................................. 66參考文獻(xiàn) ............................................................................................ 66 第 6章聚類(lèi)理論..................................................................................... 69 6.1聚類(lèi)問(wèn)題表示及相關(guān)定義 ............................................................. 69 6.2聚類(lèi)算法設(shè)計(jì)準(zhǔn)則 ....................................................................... 70 6.2.1類(lèi)緊致性準(zhǔn)則和聚類(lèi)不等式 ............................................... 70 6.2.2類(lèi)分離性準(zhǔn)則和重合類(lèi)非穩(wěn)定假設(shè) ..................................... 72 6.2.3類(lèi)一致性準(zhǔn)則和迭代型聚類(lèi)算法 ......................................... 73 6.3聚類(lèi)有效性 ................................................................................. 73 6.3.1外部方法 .......................................................................... 73 6.3.2內(nèi)蘊(yùn)方法 .......................................................................... 75延伸閱讀 ............................................................................................ 76習(xí)題 .................................................................................................. 77參考文獻(xiàn) ............................................................................................ 77 第 7章聚類(lèi)算法..................................................................................... 81 7.1樣例理論：層次聚類(lèi)算法 ............................................................. 81 7.2原型理論：點(diǎn)原型聚類(lèi)算法 .......................................................... 83 7.2.1 C均值算法 ...................................................................... 84 7.2.2模糊 C均值 ...................................................................... 86 7.3基于密度估計(jì)的聚類(lèi)算法 ............................................................. 88 7.3.1基于參數(shù)密度估計(jì)的聚類(lèi)算法 ............................................ 88 7.3.2基于無(wú)參數(shù)密度估計(jì)的聚類(lèi)算法 ......................................... 97延伸閱讀 .......................................................................................... 106習(xí)題 ................................................................................................ 107參考文獻(xiàn) .......................................................................................... 108 第 8章分類(lèi)理論................................................................................... 111 8.1分類(lèi)及相關(guān)定義 ........................................................................ 111 8.2從歸類(lèi)理論到經(jīng)典分類(lèi)理論 ....................................................... 112 8.2.1 PAC理論 ....................................................................... 113 8.2.2統(tǒng)計(jì)機(jī)器學(xué)習(xí)理論 ........................................................... 115 8.3分類(lèi)測(cè)試公理 ........................................................................... 118討論 ................................................................................................ 119習(xí)題 ................................................................................................ 119參考文獻(xiàn) .......................................................................................... 120 第 9章基于單類(lèi)的分類(lèi)算法：神經(jīng)網(wǎng)絡(luò) .................................................. 121 9.1分類(lèi)問(wèn)題的回歸表示 ................................................................. 121 9.2人工神經(jīng)網(wǎng)絡(luò) ........................................................................... 122 9.2.1人工神經(jīng)網(wǎng)絡(luò)相關(guān)介紹 .................................................... 122 9.2.2前饋神經(jīng)網(wǎng)絡(luò) ................................................................. 124 9.3從參數(shù)密度估計(jì)到受限玻耳茲曼機(jī) ............................................. 129 9.4深度學(xué)習(xí) .................................................................................. 131 9.4.1自編碼器 ........................................................................ 132 9.4.2卷積神經(jīng)網(wǎng)絡(luò) ................................................................. 132討論 ................................................................................................ 133習(xí)題 ................................................................................................ 134參考文獻(xiàn) .......................................................................................... 134 第 10章 K近鄰分類(lèi)模型 ...................................................................... 137 10.1 K近鄰算法 ............................................................................. 138 10.1.1 K近鄰算法問(wèn)題表示 .................................................... 138 10.1.2 K近鄰分類(lèi)算法 .......................................................... 139 10.1.3 K近鄰分類(lèi)算法的理論錯(cuò)誤率 ...................................... 140 10.2距離加權(quán)最近鄰算法 ................................................................ 141 10.3 K近鄰算法加速策略 ............................................................... 142 10.4 kd樹(shù) ...................................................................................... 143 10.5 K近鄰算法中的參數(shù)問(wèn)題 ......................................................... 144延伸閱讀 .......................................................................................... 145習(xí)題 ................................................................................................ 145參考文獻(xiàn) .......................................................................................... 145 第 11章線性分類(lèi)模型 .......................................................................... 147 11.1判別函數(shù)和判別模型 ................................................................ 147 11.2線性判別函數(shù) .......................................................................... 148 11.3線性感知機(jī)算法 ...................................................................... 151 11.3.1感知機(jī)數(shù)據(jù)表示 ........................................................... 151 11.3.2感知機(jī)算法的歸類(lèi)判據(jù) ................................................. 152 11.3.3感知機(jī)分類(lèi)算法 ........................................................... 153 11.4支持向量機(jī) ............................................................................. 156 11.4.1線性可分支持向量機(jī) .................................................... 156 11.4.2近似線性可分支持向量機(jī) ............................................. 159 11.4.3多類(lèi)分類(lèi)問(wèn)題 .............................................................. 162討論 ................................................................................................ 164習(xí)題 ................................................................................................ 165參考文獻(xiàn) .......................................................................................... 166 第 12章對(duì)數(shù)線性分類(lèi)模型 ................................................................... 167 12.1 Softmax回歸 .......................................................................... 167 12.2 Logistic回歸 ........................................................................... 170討論 ................................................................................................ 172習(xí)題 ................................................................................................ 173參考文獻(xiàn) .......................................................................................... 173 第 13章貝葉斯決策 ............................................................................. 175 13.1貝葉斯分類(lèi)器 .......................................................................... 175 13.2樸素貝葉斯分類(lèi) ...................................................................... 176 13.2.1最大似然估計(jì) .............................................................. 178 13.2.2貝葉斯估計(jì) ................................................................. 181 13.3最小化風(fēng)險(xiǎn)分類(lèi) ...................................................................... 183 13.4效用最大化分類(lèi) ...................................................................... 185討論 ................................................................................................ 185習(xí)題 ................................................................................................ 186參考文獻(xiàn) .......................................................................................... 186 第 14章決策樹(shù) .................................................................................... 187 14.1決策樹(shù)的類(lèi)表示 ...................................................................... 187 14.2信息增益與 ID3算法 ............................................................... 192 14.3增益比率與 C4.5算法 .............................................................. 194 14.4 Gini指數(shù)與 CART算法 ........................................................... 195 14.5決策樹(shù)的剪枝 .......................................................................... 196討論 ................................................................................................ 197習(xí)題 ................................................................................................ 197參考文獻(xiàn) .......................................................................................... 198 第 15章多類(lèi)數(shù)據(jù)降維 .......................................................................... 199 15.1有監(jiān)督特征選擇模型 ................................................................ 199 15.1.1過(guò)濾式特征選擇 ........................................................... 200 15.1.2包裹式特征選擇 ........................................................... 201 15.1.3嵌入式特征選擇 ........................................................... 201 15.2有監(jiān)督特征提取模型 ................................................................ 202 15.2.1線性判別分析 .............................................................. 202 15.2.2二分類(lèi)線性判別分析問(wèn)題 ............................................. 202 15.2.3二分類(lèi)線性判別分析 .................................................... 203 15.2.4二分類(lèi)線性判別分析優(yōu)化算法 ....................................... 205 15.2.5多分類(lèi)線性判別分析 .................................................... 205延伸閱讀 .......................................................................................... 207習(xí)題 ................................................................................................ 207參考文獻(xiàn) .......................................................................................... 207 第 16章多類(lèi)數(shù)據(jù)升維：核方法 ............................................................. 209 16.1核方法 .................................................................................... 209 16.2非線性支持向量機(jī) ................................................................... 210 16.2.1特征空間 ..................................................................... 210 16.2.2核函數(shù) ........................................................................ 210 16.2.3常用核函數(shù) ................................................................. 212 16.2.4非線性支持向量機(jī) ....................................................... 212 16.3多核方法 ................................................................................ 213討論 ................................................................................................ 215習(xí)題 ................................................................................................ 215參考文獻(xiàn) .......................................................................................... 216 第 17章多源數(shù)據(jù)學(xué)習(xí) .......................................................................... 217 17.1多源數(shù)據(jù)學(xué)習(xí)的分類(lèi) ................................................................ 217 17.2單類(lèi)多源數(shù)據(jù)學(xué)習(xí) ................................................................... 217 17.2.1完整視角下的單類(lèi)多源數(shù)據(jù)學(xué)習(xí) ................................... 218 17.2.2不完整視角下的單類(lèi)多源數(shù)據(jù)學(xué)習(xí) ................................ 220 17.3多類(lèi)多源數(shù)據(jù)學(xué)習(xí) ................................................................... 221 17.4多源數(shù)據(jù)學(xué)習(xí)中的基本假設(shè) ...................................................... 222討論 ................................................................................................ 222習(xí)題 ................................................................................................ 223參考文獻(xiàn) .......................................................................................... 223 后記 ........................................................................................................ 225 索引 ........................................................................................................ 229