深度學習應用與實戰(zhàn)（全彩）

目 錄
第 1 部分 深度學習基礎算法與應用
第 1 章 單層神經網絡 2
1.1 深度學習的基本概念 2
1.1.1 深度學習的概述 2
1.1.2 神經網絡 3
1.2 深度學習框架 5
1.2.1 常見框架介紹 5
1.2.2 張量 6
1.3 單層神經網絡的概述 6
1.3.1 回歸模型 6
1.3.2 二分類模型 10
1.3.3 多分類模型 13
1.4 單層神經網絡實現鳶尾花分類 17
1.4.1 使用 TensorFlow 實現鳶尾花分類 17
1.4.2 使用 PyTorch 實現鳶尾花分類 20
本章總結 22
作業(yè)與練習 22
第 2 章 多層神經網絡 24
2.1 多層神經網絡的概述 24
2.1.1 隱藏層的意義 24
2.1.2 激活函數 25
2.1.3 反向傳播 27
2.1.4 異或處理代碼實現 28
2.2 梯度下降算法 30
2.2.1 批量梯度下降算法 30
2.2.2 隨機梯度下降算法 31
2.2.3 小批量梯度下降算法 31
2.3 正則化處理 31
2.3.1 L1 正則化與 L2 正則化 31
2.3.2 Dropout 正則化 31
2.3.3 提前停止 32
2.3.4 批量標準化 32
2.4 手寫數字識別
2.4.1 MNIST 數據集簡介 32
2.4.2 使用 TensorFlow 實現MNIST 手寫數字分類 33
2.4.3 使用 PyTorch 實現MNIST 手寫數字分類 36
本章總結 39
作業(yè)與練習 39
第 3 章 卷積神經網絡 41
3.1 圖像基礎原理 41
3.1.1 像素 41
3.1.2 灰度值 42
3.1.3 彩色圖像表達 42
3.2 卷積的作用及原理 43
3.2.1 卷積的概述 43
3.2.2 卷積運算的原理 43
3.2.3 卷積運算的方式 44
3.2.4 卷積表達的含義 44
3.2.5 卷積相關術語 45
3.3 卷積神經網絡的基本結構 46
3.3.1 卷積神經網絡的網絡結構 46
3.3.2 卷積層 47
3.3.3 ReLU 層 47
3.3.4 池化層 48
3.3.5 全連接層 49
3.4 基于卷積神經網絡實現MNIST 手寫數字識別 49
3.4.1 構建卷積神經網絡模型 49
3.4.2 使用 TensorFlow 實現卷積神經網絡 MNIST手寫數字分類 50
3.4.3 使用 PyTorch 實現卷積神經網絡 MNIST 手寫
數字分類 52
本章總結 55
作業(yè)與練習 55
第 4 章 優(yōu)化算法與模型管理 57
4.1 數據增強 57
4.1.1 數據增強的意義 57
4.1.2 使用 TensorFlow 實現數據增強 58
4.1.3 使用 PyTorch 實現數據增強 59
4.2 梯度下降優(yōu)化 60
4.2.1 梯度下降優(yōu)化的必要性 60
4.2.2 Momentum 優(yōu)化器 60
4.2.3 Adagrad 優(yōu)化器 60
4.2.4 RMSprop 優(yōu)化器 61
4.2.5 Adam 優(yōu)化器 62
4.3 模型的保存與加載 62
4.3.1 TensorFlow 模型保存與加載 62
4.3.2 PyTorch 模型保存與加載 63
4.4 項目案例：車輛識別 64
4.4.1 汽車數據集 65
4.4.2 項目案例實現 65
本章總結 70
作業(yè)與練習 70
第 2 部分 深度學習進階算法與應用
第 5 章 深度卷積神經網絡 74
5.1 深度卷積神經網絡的概述 74
5.2 AlexNet 75
5.2.1 AlexNet 的網絡結構 75
5.2.2 構建 AlexNet 模型 77
5.3 VGG 79
5.3.1 VGG 的網絡結構 79
5.3.2 構建 VGG 模型 80
5.4 NiN 81
5.4.1 NiN 的網絡結構 81
5.4.2 構建 NiN 模型 83
5.5 GoogLeNet 85
5.5.1 GoogLeNet 的網絡結構 85
5.5.2 構建 GoogLeNet 模型 88
5.6 項目案例：車輛多屬性識別 90
5.6.1 多屬性識別 91
5.6.2 項目案例實現 91
本章總結 100
作業(yè)與練習 100
第 6 章 高效的卷積神經網絡 102
6.1 ResNet 102
6.1.1 ResNet 的網絡結構 102
6.1.2 構建 ResNet 模型 103
6.2 DenseNet 109
6.2.1 DenseNet 的網絡結構 110
6.2.2 構建 DenseNet 模型 111
6.3 MobileNet 112
6.3.1 MobileNet 的網絡結構 112
6.3.2 構建 MobileNet 模型 113
6.4 項目案例：違規(guī)駕駛行為識別 114
本章總結 126
作業(yè)與練習 126
第 7 章 目標檢測 128
7.1 目標檢測的概述 128
7.2 兩階段目標檢測 129
7.2.1 R-CNN 129
7.2.2 Fast R-CNN 和Faster R-CNN 130
7.2.3 Mask R-CNN 132
7.3 一階段目標檢測 133
7.3.1 YOLO 系列 133
7.3.2 SSD 137
7.4 項目案例：車輛檢測 137
本章總結 144
作業(yè)與練習 144
第 8 章 循環(huán)神經網絡 145
8.1 循環(huán)神經網絡的概述 145
8.2 LSTM 神經網絡 147
8.2.1 LSTM 神經網絡的網絡結構 147
8.2.2 LSTM 門機制 147
8.3 GRU 神經網絡 148
8.3.1 GRU 神經網絡的網絡結構 148
8.3.2 GRU 門機制 148
8.4 項目案例：文本生成 149
本章總結 159
作業(yè)與練習 159
第 9 章 深度循環(huán)神經網絡 160
9.1 深度循環(huán)神經網絡的概述 160
9.1.1 深度循環(huán)神經網絡的特點 160
9.1.2 雙向 LSTM 神經網絡 162
9.2 項目案例：短時交通流量預測 163
9.2.1 解決方案 163
9.2.2 項目案例實現 164
本章總結 177
作業(yè)與練習 177
第 3 部分 時空數據模型與應用
第 10 章 CNN-LSTM 混合模型 180
10.1 編碼器-解碼器模型 180
10.1.1 模型結構 180
10.1.2 構建編碼器-解碼器模型 182
10.2 項目案例：基于時空特征的交通事故預測 183
10.2.1 數據集和評價指標 184
10.2.2 項目案例實現 184
本章總結 193
作業(yè)與練習 193
第 11 章 多元時間序列神經網絡 195
11.1 圖 195
11.1.1 結構和信號 196
11.1.2 圖結構 197
11.1.3 圖神經網絡 197
11.2 圖卷積網絡 198
11.2.1 基本原理 198
11.2.2 數學運算 199
11.2.3 使用 GCN 模型實現圖像識別 200
11.3 多元時間序列神經網絡的概述 205
11.3.1 DCRNN 205
11.3.2 seq2seq 模型 207
11.4 項目案例：基于 DCRNN實現交通流量預測 209
11.4.1 解決方案 209
11.4.2 項目案例實現 210
本章總結 226
作業(yè)與練習 227
第 12 章 MTGNN 與交通流量預測 228
12.1 基于 MTGNN 實現交通流量預測 228
12.1.1 MTGNN 的網絡結構 229
12.1.2 MTGNN 時空卷積 229
12.2 PyTorch-Lightning 231
12.2.1 安裝 231
12.2.2 基本使用 231
12.3 項目案例：基于 MTGNN實現交通流量預測 232
本章總結 245
作業(yè)與練習 246
第 13 章 注意力機制 247
13.1 注意力機制的概述 247
13.1.1 機器翻譯中的注意力機制 248
13.1.2 自注意力機制的概述 251
13.2 項目案例：視頻異常檢測 253
本章總結 266
作業(yè)與練習 266
第 14 章 Transformer 268
14.1 Transformer 的概述 268
14.1.1 Transformer 的簡介 269
14.1.2 Transformer 的總體結構 269
14.2 Self-Attention 機制 271
14.2.1 Self-Attention 機制的原理 271
14.2.2 Self-Attention 的計算過程 272
14.2.3 Positional Encoding 和LayerNorm 273
14.3 項目案例：軌跡預測 275
14.3.1 解決方案 275
14.3.2 車輛軌跡預測數據集 276
14.3.3 實現過程 278
本章總結 290
作業(yè)與練習 290
第 4 部分 生成對抗網絡及其應用
第 15 章 生成對抗網絡 294
15.1 生成對抗網絡的概述 294
15.1.1 GAN 模型的結構 294
15.1.2 GAN 模型的訓練過程 295
15.2 TecoGAN 模型 296
15.2.1 TecoGAN 模型的結構 297
15.2.2 TecoGAN 損失函數 297
15.2.3 TecoGAN 評價指標 298
15.3 項目案例：視頻超分辨率 298
本章總結 306
作業(yè)與練習 306
第 16 章 車牌檢測與識別 307
16.1 項目案例：車牌檢測與識別 307
16.1.1 數據集 308
16.1.2 MTCNN 模型 309
16.1.3 LPRNet 311
16.2 項目案例實現 312
本章總結 323
作業(yè)與練習 324