深度學(xué)習(xí)入門與實踐

目 錄
前言
第1部分神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)
第1章深度學(xué)習(xí)簡介
1.1神經(jīng)網(wǎng)絡(luò)
1.2神經(jīng)網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)應(yīng)用
1.3為什么深度學(xué)習(xí)會興起
第2章神經(jīng)網(wǎng)絡(luò)的編程基礎(chǔ)
2.1二分類
2.2邏輯回歸
2.3邏輯回歸的代價函數(shù)
2.4梯度下降法
2.5計算圖
2.6使用計算圖求導(dǎo)數(shù)
2.7邏輯回歸中的梯度下降
2.8m個樣本的梯度下降
2.9向量化
2.10向量化邏輯回歸
2.11向量化邏輯回歸的輸出
2.12Python中的廣播
2.13numpy向量
2.14logistic損失函數(shù)的解釋
第3章淺層神經(jīng)網(wǎng)絡(luò)
3.1神經(jīng)網(wǎng)絡(luò)概述
3.2神經(jīng)網(wǎng)絡(luò)的表示
3.3計算一個神經(jīng)網(wǎng)絡(luò)的輸出
3.4多樣本向量化
3.5激活函數(shù)
3.6激活函數(shù)的導(dǎo)數(shù)
3.7神經(jīng)網(wǎng)絡(luò)的梯度下降
3.8理解反向傳播
3.9隨機初始化
第4章深層神經(jīng)網(wǎng)絡(luò)
4.1深層神經(jīng)網(wǎng)絡(luò)概述
4.2前向傳播和反向傳播
4.3深層網(wǎng)絡(luò)中矩陣的維數(shù)
4.4為什么使用深層表示
4.5超參數(shù)
第2部分改善深層神經(jīng)網(wǎng)絡(luò)：超參數(shù)調(diào)試、正則化以及優(yōu)化
第5章深度學(xué)習(xí)的實踐
5.1訓(xùn)練、驗證、測試集
5.2偏差、方差
5.3機器學(xué)習(xí)基礎(chǔ)
5.4正則化
5.5正則化如何降低過擬合
5.6dropout正則化
5.7理解dropout
5.8其他正則化方法
5.9歸一化輸入
5.10梯度消失/梯度爆炸
5.11梯度的數(shù)值逼近
5.12梯度檢驗
第6章優(yōu)化算法
6.1mini-batch梯度下降
6.2理解mini-batch梯度下降法
6.3動量梯度下降法
6.4RMSprop
6.5Adam 優(yōu)化算法
6.6學(xué)習(xí)率衰減
6.7局部問題
第7章超參數(shù)調(diào)試、正則化
7.1調(diào)試處理
7.2超參數(shù)的合適范圍
7.3歸一化網(wǎng)絡(luò)的激活函數(shù)
7.4將batch norm擬合進神經(jīng)網(wǎng)絡(luò)
7.5batch歸一化分析
7.6softmax回歸
7.7訓(xùn)練一個softmax分類器
7.8TensorFlow
第3部分卷積神經(jīng)網(wǎng)絡(luò)及應(yīng)用
第8章卷積神經(jīng)網(wǎng)絡(luò)
8.1計算機視覺
8.2邊緣檢測示例
8.3邊緣檢測內(nèi)容
8.4填充
8.5卷積步長
8.6三維卷積
8.7單層卷積網(wǎng)絡(luò)
8.8簡單卷積網(wǎng)絡(luò)示例
8.9池化層
8.10卷積神經(jīng)網(wǎng)絡(luò)示例
8.11為什么使用卷積
第9章深度卷積網(wǎng)絡(luò)：實例探究
9.1經(jīng)典網(wǎng)絡(luò)
9.2殘差網(wǎng)絡(luò)
9.3殘差網(wǎng)絡(luò)為什么有用
9.4網(wǎng)絡(luò)中的1×1卷積
9.5谷歌Inception網(wǎng)絡(luò)
9.6遷移學(xué)習(xí)
9.7數(shù)據(jù)增強
第10章目標檢測
10.1目標定位
10.2特征點檢測
10.3目標檢測
10.4滑動窗口的卷積實現(xiàn)
10.5Bounding Box預(yù)測
10.6交并比
10.7非極大值抑制
10.8Anchor Boxes
10.9YOLO算法
第11章特殊應(yīng)用：人臉識別和神經(jīng)風(fēng)格遷移
11.1One-Shot學(xué)習(xí)
11.2Siamese網(wǎng)絡(luò)
11.3Triplet損失
11.4人臉驗證與二分類
11.5神經(jīng)風(fēng)格遷移
11.6深度卷積網(wǎng)絡(luò)學(xué)習(xí)什么
11.7代價函數(shù)
11.8內(nèi)容代價函數(shù)
11.9風(fēng)格代價函數(shù)
11.10一維到三維推廣
第4部分序列模型
第12章循環(huán)序列模型
12.1為什么選擇序列模型
12.2數(shù)學(xué)符號
12.3循環(huán)神經(jīng)網(wǎng)絡(luò)模型
12.4通過時間的反向傳播
12.5不同類型的循環(huán)神經(jīng)網(wǎng)絡(luò)
12.6語言模型和序列生成
12.7對新序列采樣
12.8循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度消失
12.9GRU單元
12.10長短期記憶
12.11雙向循環(huán)神經(jīng)網(wǎng)絡(luò)
12.12深層循環(huán)神經(jīng)網(wǎng)絡(luò)
第13章序列模型和注意力機制
13.1序列結(jié)構(gòu)的各種序列
13.2選擇可能的句子
13.3集束搜索
13.4改進集束搜索
13.5集束搜索的誤差分析
13.6注意力模型直觀理解
13.7注意力模型
附錄
附錄A深度學(xué)習(xí)符號指南
A.1數(shù)據(jù)標記與上下標
A.2神經(jīng)網(wǎng)絡(luò)模型
A.3正向傳播方程示例
A.4通用激活公式
A.5損失函數(shù)
A.6深度學(xué)習(xí)圖示
附錄B線性代數(shù)
B.1基礎(chǔ)概念和符號
B.2矩陣乘法〖＝（〗