解剖深度學(xué)習(xí)原理：從0編寫深度學(xué)習(xí)庫

第1章　編程和數(shù)學(xué)基礎(chǔ) 1
1.1　Python快速入門 1
1.1.1　快速安裝Python 1
1.1.2　Python基礎(chǔ) 2
1.1.3　Python中的常見運(yùn)算 5
1.1.4　Python控制語句 7
1.1.5　Python常用容器類型 10
1.1.6　Python常用函數(shù) 16
1.1.7　類和對(duì)象 22
1.1.8　Matplotlib入門 24
1.2　張量庫NumPy 33
1.2.1　什么是張量 33
1.2.2　創(chuàng)建ndarray對(duì)象 37
1.2.3　ndarray數(shù)組的索引和切片 53
1.2.4　張量的計(jì)算 57
1.3　微積分 63
1.3.1　函數(shù) 64
1.3.2　四則運(yùn)算和復(fù)合運(yùn)算 66
1.3.3　極限和導(dǎo)數(shù) 69
1.3.4　導(dǎo)數(shù)的四則運(yùn)算和鏈?zhǔn)椒▌t 72
1.3.5　計(jì)算圖、正向計(jì)算和反向傳播求導(dǎo) 74
1.3.6　多變量函數(shù)的偏導(dǎo)數(shù)與梯度 75
1.3.7　向量值函數(shù)的導(dǎo)數(shù)與Jacobian矩陣 78
1.3.8　積分 83
1.4　概率基礎(chǔ) 84
1.4.1　概率 84
1.4.2　條件概率、聯(lián)合概率、全概率公式、貝葉斯公式 86
1.4.3　隨機(jī)變量 88
1.4.4　離散型隨機(jī)變量的概率分布 89
1.4.5　連續(xù)型隨機(jī)變量的概率密度 91
1.4.6　隨機(jī)變量的分布函數(shù) 93
1.4.7　期望、方差、協(xié)方差、協(xié)變矩陣 95
第2章　梯度下降法 99
2.1　函數(shù)極值的必要條件 99
2.2　梯度下降法基礎(chǔ) 101
2.3　梯度下降法的參數(shù)優(yōu)化策略 108
2.3.1　Momentum法 108
2.3.2　AdaGrad法 110
2.3.3　AdaDelta法 112
2.3.4　RMSprop法 114
2.3.5　Adam法 115
2.4　梯度驗(yàn)證 117
2.4.1　比較數(shù)值梯度和分析梯度 117
2.4.2　通用的數(shù)值梯度 118
2.5　分離梯度下降法與參數(shù)優(yōu)化策略 119
2.5.1　參數(shù)優(yōu)化器 119
2.5.2　接受參數(shù)優(yōu)化器的梯度下降法 120
第3章　線性回歸、邏輯回歸和softmax回歸 122
3.1　線性回歸 122
3.1.1　餐車?yán)麧?rùn)問題 122
3.1.2　機(jī)器學(xué)習(xí)與人工智能 123
3.1.3　什么是線性回歸 126
3.1.4　用正規(guī)方程法求解線性回歸問題 127
3.1.5　用梯度下降法求解線性回歸問題 129
3.1.6　調(diào)試學(xué)習(xí)率 133
3.1.7　梯度驗(yàn)證 135
3.1.8　預(yù)測(cè) 135
3.1.9　多特征線性回歸 136
3.2　數(shù)據(jù)的規(guī)范化 143
3.2.1　預(yù)測(cè)大壩出水量 143
3.2.2　數(shù)據(jù)的規(guī)范化過程 147
3.3　模型的評(píng)估 149
3.3.1　欠擬合和過擬合 149
3.3.2　驗(yàn)證集和測(cè)試集 153
3.3.3　學(xué)習(xí)曲線 155
3.3.4　偏差和方差 160
3.4　正則化 165
3.5　邏輯回歸 168
3.5.1　邏輯回歸基礎(chǔ) 169
3.5.2　邏輯回歸的NumPy實(shí)現(xiàn) 173
3.5.3　實(shí)戰(zhàn)：鳶尾花分類的NumPy實(shí)現(xiàn) 178
3.6　softmax回歸 180
3.6.1　spiral數(shù)據(jù)集 180
3.6.2　softmax函數(shù) 181
3.6.3　softmax回歸模型 186
3.6.4　多分類交叉熵?fù)p失 188
3.6.5　通過加權(quán)和計(jì)算交叉熵?fù)p失 191
3.6.6　softmax回歸的梯度計(jì)算 191
3.6.7　softmax回歸的梯度下降法的實(shí)現(xiàn) 197
3.6.8　spiral數(shù)據(jù)集的softmax回歸模型 197
3.7　批梯度下降法和隨機(jī)梯度下降法 199
3.7.1　MNIST手寫數(shù)字集 199
3.7.2　用部分訓(xùn)練樣本訓(xùn)練邏輯回歸模型 201
3.7.3　批梯度下降法 202
3.7.4　隨機(jī)梯度下降法 207
第4章　神經(jīng)網(wǎng)絡(luò) 209
4.1　神經(jīng)網(wǎng)絡(luò)概述 209
4.1.1　感知機(jī)和神經(jīng)元 209
4.1.2　激活函數(shù) 213
4.1.3　神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí) 216
4.1.4　多個(gè)樣本的正向計(jì)算 221
4.1.5　輸出 224
4.1.6　損失函數(shù) 224
4.1.7　基于數(shù)值梯度的神經(jīng)網(wǎng)絡(luò)訓(xùn)練 229
4.2　反向求導(dǎo) 235
4.2.1　正向計(jì)算和反向求導(dǎo) 235
4.2.2　計(jì)算圖 237
4.2.3　損失函數(shù)關(guān)于輸出的梯度 239
4.2.4　2層神經(jīng)網(wǎng)絡(luò)的反向求導(dǎo) 242
4.2.5　2層神經(jīng)網(wǎng)絡(luò)的Python實(shí)現(xiàn) 247
4.2.6　任意層神經(jīng)網(wǎng)絡(luò)的反向求導(dǎo) 252
4.3　實(shí)現(xiàn)一個(gè)簡(jiǎn)單的深度學(xué)習(xí)框架 256
4.3.1　神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程 256
4.3.2　網(wǎng)絡(luò)層的代碼實(shí)現(xiàn) 257
4.3.3　網(wǎng)絡(luò)層的梯度檢驗(yàn) 260
4.3.4　神經(jīng)網(wǎng)絡(luò)的類 261
4.3.5　神經(jīng)網(wǎng)絡(luò)的梯度檢驗(yàn) 263
4.3.6　基于深度學(xué)習(xí)框架的MNIST手寫數(shù)字識(shí)別 266
4.3.7　改進(jìn)的通用神經(jīng)網(wǎng)絡(luò)框架：分離加權(quán)和與激活函數(shù) 268
4.3.8　獨(dú)立的參數(shù)優(yōu)化器 276
4.3.9　fashion-mnist的分類訓(xùn)練 279
4.3.10　讀寫模型參數(shù) 282
第5章　改進(jìn)神經(jīng)網(wǎng)絡(luò)性能的基本技巧 285
5.1　數(shù)據(jù)處理 285
5.1.1　數(shù)據(jù)增強(qiáng) 285
5.1.2　規(guī)范化 289
5.1.3　特征工程 289
5.2　參數(shù)調(diào)試 296
5.2.1　權(quán)重初始化 296
5.2.2　優(yōu)化參數(shù) 301
5.3　批規(guī)范化 301
5.3.1　什么是批規(guī)范化 301
5.3.2　批規(guī)范化的反向求導(dǎo) 303
5.3.3　批規(guī)范化的代碼實(shí)現(xiàn) 304
5.4　正則化 310
5.4.1　權(quán)重正則化 310
5.4.2　Dropout 312
5.4.3　早停法 316
5.5　梯度爆炸和梯度消失 317
第6章　卷積神經(jīng)網(wǎng)絡(luò) 318
6.1　卷積入門 319
6.1.1　什么是卷積 319
6.1.2　一維卷積 325
6.1.3　二維卷積 326
6.1.4　多通道輸入和多通道輸出 338
6.1.5　池化 341
6.2　卷積神經(jīng)網(wǎng)絡(luò)概述 344
6.2.1　全連接神經(jīng)元和卷積神經(jīng)元 345
6.2.2　卷積層和卷積神經(jīng)網(wǎng)絡(luò) 346
6.2.3　卷積層和池化層的反向求導(dǎo)及代碼實(shí)現(xiàn) 349
6.2.4　卷積神經(jīng)網(wǎng)絡(luò)的代碼實(shí)現(xiàn) 361
6.3　卷積的矩陣乘法 364
6.3.1　一維卷積的矩陣乘法 364
6.3.2　二維卷積的矩陣乘法 365
6.3.3　一維卷積反向求導(dǎo)的矩陣乘法 371
6.3.4　二維卷積反向求導(dǎo)的矩陣乘法 373
6.4　基于坐標(biāo)索引的快速卷積 377
6.5　典型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 393
6.5.1　LeNet-5 393
6.5.2　AlexNet 394
6.5.3　VGG 395
6.5.4　殘差網(wǎng)絡(luò) 396
6.5.5　Inception網(wǎng)絡(luò) 398
6.5.6　NiN 399
第7章　循環(huán)神經(jīng)網(wǎng)絡(luò) 403
7.1　序列問題和模型 403
7.1.1　股票價(jià)格預(yù)測(cè)問題 404
7.1.2　概率序列模型和語言模型 405
7.1.3　自回歸模型 406
7.1.4　生成自回歸數(shù)據(jù) 406
7.1.5　時(shí)間窗方法 408
7.1.6　時(shí)間窗采樣 409
7.1.7　時(shí)間窗方法的建模和訓(xùn)練 409
7.1.8　長(zhǎng)期預(yù)測(cè)和短期預(yù)測(cè) 410
7.1.9　股票價(jià)格預(yù)測(cè)的代碼實(shí)現(xiàn) 412
7.1.10　k-gram語言模型 415
7.2　循環(huán)神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 416
7.2.1　無記憶功能的非循環(huán)神經(jīng)網(wǎng)絡(luò) 417
7.2.2　具有記憶功能的循環(huán)神經(jīng)網(wǎng)絡(luò) 418
7.3　穿過時(shí)間的反向傳播 421
7.4　單層循環(huán)神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn) 425
7.4.1　初始化模型參數(shù) 425
7.4.2　正向計(jì)算 425
7.4.3　損失函數(shù) 427
7.4.4　反向求導(dǎo) 427
7.4.5　梯度驗(yàn)證 429
7.4.6　梯度下降訓(xùn)練 432
7.4.7　序列數(shù)據(jù)的采樣 433
7.4.8　序列數(shù)據(jù)的循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練和預(yù)測(cè) 441
7.5　循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型和文本的生成 448
7.5.1　字符表 448
7.5.2　字符序列樣本的采樣 450
7.5.3　模型的訓(xùn)練和預(yù)測(cè) 452
7.6　循環(huán)神經(jīng)網(wǎng)絡(luò)中的梯度爆炸和梯度消失 455
7.7　長(zhǎng)短期記憶網(wǎng)絡(luò) 456
7.7.1　LSTM的神經(jīng)元 457
7.7.2　LSTM的反向求導(dǎo) 460
7.7.3　LSTM的代碼實(shí)現(xiàn) 461
7.7.4　LSTM的變種 469
7.8　門控循環(huán)單元 470
7.8.1　門控循環(huán)單元的工作原理 470
7.8.2　門控循環(huán)單元的代碼實(shí)現(xiàn) 472
7.9　循環(huán)神經(jīng)網(wǎng)絡(luò)的類及其實(shí)現(xiàn) 475
7.9.1　用類實(shí)現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò) 475
7.9.2　循環(huán)神經(jīng)網(wǎng)絡(luò)單元的類實(shí)現(xiàn) 483
7.10　多層循環(huán)神經(jīng)網(wǎng)絡(luò)和雙向循環(huán)神經(jīng)網(wǎng)絡(luò) 491
7.10.1　多層循環(huán)神經(jīng)網(wǎng)絡(luò) 491
7.10.2　多層循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和預(yù)測(cè) 497
7.10.3　雙向循環(huán)神經(jīng)網(wǎng)絡(luò) 500
7.11　Seq2Seq模型 506
7.11.1　機(jī)器翻譯概述 507
7.11.2　Seq2Seq模型的實(shí)現(xiàn) 508
7.11.3　字符級(jí)的Seq2Seq模型 516
7.11.4　基于Word2Vec的Seq2Seq模型 522
7.11.5　基于詞嵌入層的Seq2Seq模型 533
7.11.6　注意力機(jī)制 541
第8章　生成模型 552
8.1　生成模型概述 552
8.2　自動(dòng)編碼器 556
8.2.1　什么是自動(dòng)編碼器 557
8.2.2　稀疏編碼器 559
8.2.3　自動(dòng)編碼器的代碼實(shí)現(xiàn) 560
8.3　變分自動(dòng)編碼器 563
8.3.1　什么是變分自動(dòng)編碼器 563
8.3.2　變分自動(dòng)編碼器的損失函數(shù) 564
8.3.3　變分自動(dòng)編碼器的參數(shù)重采樣 565
8.3.4　變分自動(dòng)編碼器的反向求導(dǎo) 565
8.3.5　變分自動(dòng)編碼器的代碼實(shí)現(xiàn) 566
8.4　生成對(duì)抗網(wǎng)絡(luò) 571
8.4.1　生成對(duì)抗網(wǎng)絡(luò)的原理 573
8.4.2　生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練過程的代碼實(shí)現(xiàn) 577
8.5　生成對(duì)抗網(wǎng)絡(luò)建模實(shí)例 579
8.5.1　一組實(shí)數(shù)的生成對(duì)抗網(wǎng)絡(luò)建模 579
8.5.2　二維坐標(biāo)點(diǎn)的生成對(duì)抗網(wǎng)絡(luò)建模 585
8.5.3　MNIST手寫數(shù)字集的生成對(duì)抗網(wǎng)絡(luò)建模 590
8.5.4　生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練技巧 594
8.6　生成對(duì)抗網(wǎng)絡(luò)的損失函數(shù)及其概率解釋 594
8.6.1　生成對(duì)抗網(wǎng)絡(luò)的損失函數(shù)的全局最優(yōu)解 594
8.6.2　Kullback-Leibler散度和Jensen-Shannon散度 595
8.6.3　生成對(duì)抗網(wǎng)絡(luò)的最大似然解釋 598
8.7　改進(jìn)的損失函數(shù)——Wasserstein GAN 599
8.7.1　Wasserstein GAN的原理 599
8.7.2　Wasserstein GAN的代碼實(shí)現(xiàn) 603
8.8　深度卷積對(duì)抗網(wǎng)絡(luò) 605
8.8.1　一維轉(zhuǎn)置卷積 606
8.8.2　二維轉(zhuǎn)置卷積 609
8.8.3　卷積對(duì)抗網(wǎng)絡(luò)的代碼實(shí)現(xiàn) 612
參考文獻(xiàn) 617