国产破外女出血视频,91精品国产综合久蜜臀

內容簡介

　　以機器學習為核心的人工智能已經成為新一代生產力發(fā)展的主要驅動因素。新的技術正在向各行各業(yè) 滲透，大有變革各個領域的趨勢。傳統(tǒng)產業(yè)向智慧產業(yè)的升級迫使原行業(yè)從業(yè)人員逐漸轉型，市場上對相關學習材料的需求也日益高漲。幫助廣大學習者更好地理解和掌握機器學習，是編寫本書的目的。本書針對機器學習領域中1常見的一類問題——有監(jiān)督學習，從入門、進階、深化三個層面由淺入深地進行了講解。三個層面包括基礎入門算法、核心理論及理論背后的數學優(yōu)化。入門部分用以邏輯回歸為代表的廣義線性模型為出發(fā)點，引入書中所有涉及的知識點；進階部分的核心理論涵蓋了經驗風險1小、結構風險1小、正則化及統(tǒng)一的分類邊界理論；深化部分的數學優(yōu)化則主要包括1大熵原理、拉格朗日對偶等理論在數學上的推導，以及對模型求解的主流1優(yōu)化方法的探討等。本書由淺入深，從個別到普便，從自然算法到優(yōu)化算法，從各個角度深入剖析了機器學習，力求幫助讀者循序漸進地掌握機器學習的概念、算法和優(yōu)化理論。

作者簡介

　　機器學習-算法背后的理論與優(yōu)化史春奇、卜晶祎、施智平著史春奇博士，畢業(yè)于日本京都大學，美國Brandeis University博士后，現為港輝金融信息Vice President，曾任通用電氣（中國）有限公司資深數據科學家。卜晶祎，畢業(yè)于上海交通大學，現為友邦保險集團人工智能主管。曾就職于通用電氣（中國）研究開發(fā)中心有限公司，任資深數據科學家；曾任飛利浦亞洲研究院高級研究員。施智平博士，首都師范大學信息工程學院教授，院長，畢業(yè)于中科院計算技術研究所。于2012年和2017年獲北京市科學技術獎二等獎兩次，中國計算機學會高級會員，形式化方法專委會委員，人工智能學會會員，智能服務專委會委員，IEEE/ACM 會員。

圖書目錄

第1 章線性回歸與邏輯回歸. 1
1.1 線性回歸. 1
1.1.1 函數關系與統(tǒng)計關系.1
1.1.2 統(tǒng)計與機器學習. 2
1.2 最小二乘法與高斯-馬爾可夫定理. 5
1.2.1 最小二乘法. . 5
1.2.2 高斯-馬爾可夫定理. . 6
1.3 從線性回歸到邏輯回歸. 8
1.4 最大似然估計求解邏輯回歸. . 9
1.5 最小二乘與最大似然. . 11
1.5.1 邏輯回歸與伯努利分布. 11
1.5.2 線性回歸與正態(tài)分布. 12
1.6 小結. 13
參考文獻. 13
第2 章廣義線性模型. 15
2.1 廣義線性模型概述.15
2.1.1 廣義線性模型的定義. 15
2.1.2 鏈接函數與指數分布簇. 17
2.2 廣義線性模型求解.20
2.3 最大似然估計Ⅰ：Fisher 信息. 21
2.4 最大似然估計Ⅱ：KL 散度與Bregman 散度. 23
2.4.1 KL 散度. . 23
2.4.2 Bregman 散度. . 25
2.5 小結. 26
X
參考文獻. 26
第3 章經驗風險最小. 28
3.1 經驗風險與泛化誤差概述. .28
3.1.1 經驗風險. 30
3.1.2 泛化誤差. 30
3.1.3 欠擬合和過擬合. . 34
3.1.4 VC 維. . 37
3.2 經驗風險最小的算法. . 40
3.3 分類邊界. . 42
3.3.1 分類算法的損失函數. 42
3.3.2 分類算法的邊界. . 45
3.4 小結. 48
參考文獻. 48
第4 章結構風險最小. 49
4.1 經驗風險最小和過擬合. . 49
4.2 結構風險最小和正則化. . 51
4.2.1 從空間角度理解SRM 52
4.2.2 從貝葉斯觀點理解SRM 54
4.3 回歸的正則化. 55
4.3.1 L2 正則化和嶺回歸. 56
4.3.2 L1 正則化和Lasso 回歸. . 57
4.3.3 L1、L2 組合正則化和ElasticNet 回歸. . 58
4.4 分類的正則化. 60
4.4.1 支持向量機和L2 正則化. 60
4.4.2 XGBoost 和樹正則化. 62
4.4.3 神經網絡和DropOut 正則化. 65
4.4.4 正則化的優(yōu)缺點. . 66
4.5 小結. 67
參考文獻. 67
第5 章貝葉斯統(tǒng)計與熵.68
5.1 統(tǒng)計學習的基礎：參數估計. .68
5.1.1 矩估計. .68
XI
5.1.2 最大似然估計.69
5.1.3 最小二乘法. 71
5.2 概率分布與三大統(tǒng)計思維. .72
5.2.1 頻率派和正態(tài)分布. . 72
5.2.2 經驗派和正態(tài)分布. . 75
5.2.3 貝葉斯派和正態(tài)分布. 76
5.2.4 貝葉斯統(tǒng)計和熵的關系. 79
5.3 信息熵的理解. 79
5.3.1 信息熵簡史. 79
5.3.2 信息熵定義. 80
5.3.3 期望編碼長度解釋. . 81
5.3.4 不確定性公理化解釋. 81
5.3.5 基于熵的度量.84
5.4 最大熵原理. . 86
5.4.1 最大熵的直觀理解. . 86
5.4.2 最大熵解釋自然指數分布簇. . 87
5.4.3 最大熵解釋最大似然估計.89
5.5 小結. 90
參考文獻. 90
第6 章基于熵的Softmax. .92
6.1 二項分布和多項分布. . 92
6.2 Logistic 回歸和Softmax 回歸. .93
6.2.1 廣義線性模型的解釋. 93
6.2.2 Softmax 回歸. 94
6.2.3 最大熵原理與Softmax 回歸的等價性.96
6.3 最大熵條件下的Log-Linear 101
6.4 多分類界面.103
6.4.1 感知機和多分類感知機. . 104
6.4.2 多分類感知機和結構感知機. 105
6.5 概率圖模型里面的Log-Linear 106
6.6 深度學習里面的Softmax 層. . 108
6.7 小結. . 109
XII
參考文獻. . 109
第7 章拉格朗日乘子法. 111
7.1 凸共軛. .111
7.1.1 凸共軛的定義. 111
7.1.2 凸共軛定理. . 113
7.2 拉格朗日對偶. . 114
7.2.1 拉格朗日對偶概述.115
7.2.2 Salter 條件. . 117
7.2.3 KKT 條件. 118
7.3 Fenchel 對偶. .120
7.4 增廣拉格朗日乘子法. 123
7.4.1 近端. 123
7.4.2 增廣拉格朗日乘子法和對偶上升算法. .126
7.5 交替方向乘子法. . 129
7.5.1 對偶分解. . 130
7.5.2 交替方向乘子法概述. . 131
7.6 小結. . 131
參考文獻. . 132
第8 章隨機梯度下降法. 134
8.1 隨機梯度下降法概述. 134
8.1.1 機器學習場景. 134
8.1.2 隨機梯度下降法的定義. . 135
8.1.3 隨機梯度下降法收斂性分析. 136
8.1.4 收斂性證明. . 139
8.2 隨機梯度下降法進階Ⅰ：方差縮減. 140
8.2.1 方差縮減的效果. 141
8.2.2 方差縮減的實現. 143
8.3 隨機梯度下降法進階Ⅱ：加速與適應. 145
8.3.1 加速. 146
8.3.2 適應. 148
8.3.3 加速￡適應. 151
8.4 隨機梯度下降法的并行實現. . 156
XIII
8.5 小結. . 160
參考文獻. . 161
第9 章常見的最優(yōu)化方法. 163
9.1 最速下降算法. . 163
9.1.1 l2 范數與梯度下降法. . 164
9.1.2 l1 范數與坐標下降算法. . 165
9.1.3 二次范數與牛頓法.166
9.2 步長的設定.168
9.2.1 Armijo-Goldstein 準則. 169
9.2.2 Wolfe-Powell 準則. 170
9.2.3 回溯線搜索. . 171
9.3 收斂性分析.171
9.3.1 收斂速率. . 172
9.3.2 對目標函數的一些假設. . 173
9.4 一階算法：梯度下降法. 177
9.5 二階算法：牛頓法及其衍生算法. .178
9.5.1 牛頓法與梯度下降法的對比. 179
9.5.2 擬牛頓法. . 180
9.5.3 從二次范數的角度看牛頓法. 182
9.6 小結. . 183
參考文獻. . 185