突圍算法：機器學習算法應用

第1章 引言\t1
1．1 人工智能概述\t2
1．1．1 人工智能的分類\t2
1．1．2 人工智能的應用\t3
1．2 人工智能與傳統(tǒng)機器學習\t5
1．2．1 人工神經(jīng)網(wǎng)絡與生物神經(jīng)網(wǎng)絡\t5
1．2．2 落地的關(guān)鍵因素\t6
1．3 機器學習算法領(lǐng)域發(fā)展綜述\t8
1．3．1 計算機視覺\t9
1．3．2 自然語言處理\t10
1．3．3 語音識別\t11
1．4 小結(jié)\t13
參考文獻\t13
第2章 數(shù)據(jù)理解\t16
2．1 數(shù)據(jù)的三個基本維度\t17
2．1．1 集中趨勢\t17
2．1．2 離散趨勢\t19
2．1．3 分布形態(tài)\t20
2．2 數(shù)據(jù)的統(tǒng)計推論的基本方法\t22
2．2．1 數(shù)據(jù)抽樣\t22
2．2．2 參數(shù)估計\t24
2．2．3 假設檢驗\t26
2．3 數(shù)據(jù)分析\t31
2．3．1 基本理念\t31
2．3．2 體系結(jié)構(gòu)\t32
2．3．3 傳統(tǒng)數(shù)據(jù)分析方法與示例\t33
2．3．4 基于數(shù)據(jù)挖掘的數(shù)據(jù)分析方法與示例\t35
2．3．5 工作流程\t38
2．3．6 數(shù)據(jù)分析技巧\t40
2．3．7 數(shù)據(jù)可視化\t43
2．4 小結(jié)\t45
參考文獻\t45
第3章 數(shù)據(jù)處理與特征\t47
3．1 數(shù)據(jù)的基本處理\t48
3．1．1 數(shù)據(jù)預處理\t48
3．1．2 數(shù)據(jù)清洗中的異常值判定和處理\t49
3．1．3 數(shù)據(jù)清洗中的缺失值填充\t51
3．2 數(shù)據(jù)的特征縮放和特征編碼\t54
3．2．1 特征縮放\t54
3．2．2 特征編碼\t57
3．3 數(shù)據(jù)降維\t58
3．3．1 基本思想與方法\t58
3．3．2 變量選擇\t59
3．3．3 特征提取\t61
3．4 圖像的特征分析\t68
3．4．1 圖像預處理\t68
3．4．2 傳統(tǒng)圖像特征提取\t74
3．4．3 指紋識別\t77
3．5 小結(jié)\t78
參考文獻\t79
第4章 機器學習基礎\t81
4．1 統(tǒng)計學習\t82
4．1．1 統(tǒng)計學習概述\t82
4．1．2 一般研發(fā)流程\t83
4．2 機器學習算法分類\t85
4．2．1 體系框架\t85
4．2．2 模型的形式\t88
4．3 機器學習的學習規(guī)則\t90
4．3．1 誤差修正學習\t90
4．3．2 赫布學習規(guī)則\t91
4．3．3 最小均方規(guī)則\t92
4．3．4 競爭學習規(guī)則\t93
4．3．5 其他學習規(guī)則\t94
4．4 機器學習的基礎應用\t95
4．4．1 基于最小二乘法的回歸分析\t95
4．4．2 基于K-Means的聚類分析\t98
4．4．3 基于樸素貝葉斯的分類分析\t101
4．5 小結(jié)\t103
參考文獻\t103
第5章 模型選擇和結(jié)構(gòu)設計\t105
5．1 傳統(tǒng)機器學習模型選擇\t106
5．1．1 基本原則\t106
5．1．2 經(jīng)典模型\t107
5．2 經(jīng)典回歸模型的理解和選擇\t108
5．2．1 邏輯回歸\t108
5．2．2 多項式回歸\t109
5．2．3 各類回歸模型的簡單對比\t112
5．3 經(jīng)典分類模型的理解和選擇\t113
5．3．1 K近鄰算法\t113
5．3．2 支持向量機\t114
5．3．3 多層感知器\t115
5．3．4 AdaBoost算法\t117
5．3．5 各類分類算法的簡單對比\t118
5．4 經(jīng)典聚類模型的理解和選擇\t120
5．4．1 基于劃分的聚類\t120
5．4．2 基于層次的聚類\t122
5．4．3 基于密度的聚類\t126
5．4．4 基于網(wǎng)格的聚類\t131
5．4．5 聚類算法的簡單對比\t131
5．5 深度學習模型選擇\t132
5．5．1 分類問題模型\t132
5．5．2 聚類問題模型\t138
5．5．3 回歸預測模型\t139
5．5．4 各類深度學習模型的簡單對比\t140
5．6 深度學習模型結(jié)構(gòu)的設計方向\t141
5．6．1 基于深度的設計\t141
5．6．2 基于升維或降維的設計\t144
5．6．3 基于寬度和多尺度的設計\t145
5．7 模型結(jié)構(gòu)設計中的簡單技巧\t146
5．7．1 激活函數(shù)的選擇\t146
5．7．2 隱藏神經(jīng)元的估算\t147
5．7．3 卷積核串聯(lián)使用\t148
5．7．4 利用Dropout提升性能\t149
5．8 小結(jié)\t150
參考文獻\t151
第6章 目標函數(shù)設計\t154
6．1 損失函數(shù)\t155
6．1．1 一般簡單損失函數(shù)\t155
6．1．2 圖像分類場景經(jīng)典損失函數(shù)\t156
6．1．3 目標檢測中的經(jīng)典損失函數(shù)\t158
6．1．4 圖像分割中的經(jīng)典損失函數(shù)\t159
6．1．5 對比場景中的經(jīng)典損失函數(shù)\t161
6．2 風險最小化和設計原則\t165
6．2．1 期望風險、經(jīng)驗風險和結(jié)構(gòu)風險\t165
6．2．2 目標函數(shù)的設計原則\t166
6．3 基于梯度下降法的目標函數(shù)優(yōu)化\t167
6．3．1 理論基礎\t167
6．3．2 常見的梯度下降法\t169
6．3．3 改進方法\t169
6．4 基于牛頓法的目標求解\t173
6．4．1 基本原理\t173
6．4．2 牛頓法的計算步驟\t174
6．5 小結(jié)\t175
參考文獻\t176
第7章 模型訓練過程設計\t178
7．1 數(shù)據(jù)選擇\t179
7．1．1 數(shù)據(jù)集篩選\t179
7．1．2 難例挖掘\t180
7．1．3 數(shù)據(jù)增強\t181
7．2 參數(shù)初始化\t183
7．2．1 避免全零初始化\t183
7．2．2 隨機初始化\t184
7．3 擬合的驗證與判斷\t185
7．3．1 過擬合的模型參數(shù)\t185
7．3．2 不同算法場景中的欠擬合和過擬合\t187
7．4 學習速率的選擇\t188
7．4．1 學習速率的一般觀測方法\t188
7．4．2 學習速率與批處理大小的關(guān)系\t189
7．5 遷移學習\t189
7．5．1 概念與基本方法\t189
7．5．2 應用示例：基于VGG-16的遷移思路\t190
7．6 分布式訓練\t191
7．6．1 數(shù)據(jù)并行\(zhòng)t191
7．6．2 模型并行\(zhòng)t193
7．7 小結(jié)\t194
參考文獻\t194
第8章 模型效果的評估與驗證\t196
8．1 模型效果評估的一般性指標\t197
8．1．1 分類算法的效果評估\t197
8．1．2 聚類算法的效果評估\t201
8．1．3 回歸算法的效果評估\t205
8．1．4 不同應用場景下的效果評估\t206
8．2 交叉驗證\t208
8．2．1 基本思想\t208
8．2．2 不同的交叉驗證方法\t209
8．3 模型的穩(wěn)定性分析\t210
8．3．1 計算的穩(wěn)定性\t210
8．3．2 數(shù)據(jù)的穩(wěn)定性\t211
8．3．3 模型性能\t212
8．4 小結(jié)\t213
參考文獻\t213
第9章 計算性能與模型加速\t215
9．1 計算優(yōu)化\t216
9．1．1 問題與挑戰(zhàn)\t216
9．1．2 設備與推斷計算\t216
9．2 性能指標\t217
9．2．1 計算平臺的重要指標：算力和帶寬\t217
9．2．2 模型的兩個重要指標：計算量和訪存量\t218
9．3 模型壓縮與裁剪\t219
9．3．1 問題背景\t219
9．3．2 基本思路和方法\t220
9．4 小結(jié)\t221
參考文獻\t221
第10章 應用案例專題\t223
10．1 求解二元一次方程\t224
10．1．1 問題分析\t224
10．1．2 模型設計\t225
10．2 鳶尾花的案例分析\t226
10．2．1 數(shù)據(jù)說明\t226
10．2．2 數(shù)據(jù)理解和可視化\t227
10．2．3 數(shù)據(jù)特征的降維\t230
10．2．4 數(shù)據(jù)分類\t231
10．2．5 數(shù)據(jù)聚類\t235
10．3 形體識別\t237
10．3．1 問題定義\t237
10．3．2 應用形式\t239
10．3．3 數(shù)據(jù)準備與處理\t241
10．3．4 技術(shù)方案與模型設計\t243
10．3．5 改進思考\t245
10．4 小結(jié)\t246
參考文獻\t246