卷積神經(jīng)網(wǎng)絡的Python實現(xiàn)

第 一部分　模型篇
第　1章 機器學習簡介　2
1．1　引言　2
1．2　基本術(shù)語　3
1．3　重要概念　5
1．4　圖像分類　12
1．5　MNIST數(shù)據(jù)集簡介　15
第　2章 線性分類器　17
2．1　線性模型　17
2．1．1　線性分類器　18
2．1．2　理解線性分類器　19
2．1．3　代碼實現(xiàn)　21
2．2　softmax損失函數(shù)　22
2．2．1　損失函數(shù)的定義　23
2．2．2　概率解釋　24
2．2．3　代碼實現(xiàn)　25
2．3　優(yōu)化　26
2．4　梯度下降法　26
2．4．1　梯度的解析意義　27
2．4．2　梯度的幾何意義　29
2．4．3　梯度的物理意義　29
2．4．4　梯度下降法代碼實現(xiàn)　29
2．5　牛頓法　30
2．6　機器學習模型統(tǒng)一結(jié)構(gòu)　31
2．7　正則化　33
2．7．1　范數(shù)正則化　34
2．7．2　提前終止訓練　37
2．7．3　概率的進一步解釋　38
第3章　神經(jīng)網(wǎng)絡　39
3．1　數(shù)學模型　39
3．2　激活函數(shù)　41
3．3　代碼實現(xiàn)　44
3．4　學習容量和正則化　45
3．5　生物神經(jīng)科學基礎　48
第4章　卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu)　50
4．1　概述　50
4．1．1　局部連接　51
4．1．2　參數(shù)共享　52
4．1．3　3D特征圖　52
4．2　卷積層　53
4．2．1　卷積運算及代碼實現(xiàn)　54
4．2．2　卷積層及代碼初級實現(xiàn)　57
4．2．3　卷積層參數(shù)總結(jié)　63
4．2．4　用連接的觀點看卷積層　64
4．2．5　使用矩陣乘法實現(xiàn)卷積層運算　67
4．2．6　批量數(shù)據(jù)的卷積層矩陣乘法的代碼實現(xiàn)　69
4．3　池化層　74
4．3．1　概述　74
4．3．2　池化層代碼實現(xiàn)　76
4．4　全連接層　79
4．4．1　全連接層轉(zhuǎn)化成卷積層　80
4．4．2　全連接層代碼實現(xiàn)　82
4．5　卷積網(wǎng)絡的結(jié)構(gòu)　83
4．5．1　層的組合模式　83
4．5．2　表示學習　86
4．6　卷積網(wǎng)絡的神經(jīng)科學基礎　87
第二部分　優(yōu)化篇
第5章　基于梯度下降法的最優(yōu)化方法　90
5．1　隨機梯度下降法SGD　91
5．2　基本動量法　93
5．3　Nesterov動量法　95
5．4　AdaGrad　95
5．5　RMSProp　97
5．6　Adam　98
5．7　AmsGrad　99
5．8　學習率退火　99
5．9　參數(shù)初始化　100
5．10　超參數(shù)調(diào)優(yōu)　101
第6章　梯度反向傳播算法　104
6．1　基本函數(shù)的梯度　104
6．2　鏈式法則　105
6．3　深度網(wǎng)絡的誤差反向傳播算法　107
6．4　矩陣化　109
6．5　softmax損失函數(shù)梯度計算　111
6．6　全連接層梯度反向傳播　112
6．7　激活層梯度反向傳播　113
6．8　卷積層梯度反向傳播　115
6．9　最大值池化層梯度反向傳播　118
第三部分　實戰(zhàn)篇
第7章　訓練前的準備　124
7．1　中心化和規(guī)范化　124
7．1．1　利用線性模型推導中心化　125
7．1．2　利用屬性同等重要性推導規(guī)范化　126
7．1．3　中心化和規(guī)范化的幾何意義　128
7．2　PCA和白化　128
7．2．1　從去除線性相關性推導PCA　129
7．2．2　PCA代碼　130
7．2．3　PCA降維　131
7．2．4　PCA的幾何意義　133
7．2．5　白化　134
7．3　卷積網(wǎng)絡在進行圖像分類時如何預處理　135
7．4　BN　136
7．4．1　BN前向計算　136
7．4．2　BN層的位置　137
7．4．3　BN層的理論解釋　138
7．4．4　BN層在實踐中的注意事項　139
7．4．5　BN層的梯度反向傳播　140
7．4．6　BN層的地位探討　141
7．4．7　將BN層應用于卷積網(wǎng)絡　141
7．5　數(shù)據(jù)擴增　142
7．6　梯度檢查　144
7．7　初始損失值檢查　146
7．8　過擬合微小數(shù)據(jù)子集　146
7．9　監(jiān)測學習過程　147
7．9．1　損失值　147
7．9．2　訓練集和驗證集的準確率　148
7．9．3　參數(shù)更新比例　149
第8章　神經(jīng)網(wǎng)絡實例　150
8．1　生成數(shù)據(jù)　150
8．2　數(shù)據(jù)預處理　152
8．3　網(wǎng)絡模型　153
8．4　梯度檢查　156
8．5　參數(shù)優(yōu)化　158
8．6　訓練網(wǎng)絡　159
8．7　過擬合小數(shù)據(jù)集　162
8．8　超參數(shù)隨機搜索　162
8．9　評估模型　165
8．10　程序組織結(jié)構(gòu)　165
8．11　增加BN層　167
8．12　程序使用建議　171
第9章　卷積神經(jīng)網(wǎng)絡實例　172
9．1　程序結(jié)構(gòu)設計　173
9．2　激活函數(shù)　173
9．3　正則化　174
9．4　優(yōu)化方法　175
9．5　卷積網(wǎng)絡的基本模塊　176
9．6　訓練方法　181
9．7　VGG網(wǎng)絡結(jié)構(gòu)　186
9．8　MNIST數(shù)據(jù)集　197
9．9　梯度檢測　199
9．10　MNIST數(shù)據(jù)集的訓練結(jié)果　202
9．11　程序使用建議　205
第　10章 卷積網(wǎng)絡結(jié)構(gòu)的發(fā)展　206
10．1　全局平均池化層　206
10．2　去掉池化層　208
10．3　網(wǎng)絡向更深更寬發(fā)展面臨的困難　209
10．4　ResNet向更深發(fā)展的代表網(wǎng)絡　210
10．5　GoogLeNet向更寬發(fā)展的代表網(wǎng)絡　213
10．6　輕量網(wǎng)絡　215
10．6．1　1×1深度維度卷積代碼實現(xiàn)　217
10．6．2　3×3逐特征圖的卷積代碼實現(xiàn)　219
10．6．3　逆殘差模塊的代碼實現(xiàn)　222
10．7　注意機制網(wǎng)絡SENet　223