深度學(xué)習(xí)理論與實(shí)戰(zhàn)：PyTorch案例詳解

目錄




第1章支持向量機(jī)

1．1SVM的原理

1．2SVM求解

1．3核函數(shù)

1．4軟間隔

1．5小結(jié)

第2章線(xiàn)性回歸與非線(xiàn)性回歸

2．1線(xiàn)性回歸

2．1．1線(xiàn)性回歸問(wèn)題的一般形式

2．1．2線(xiàn)性回歸中的最優(yōu)化問(wèn)題

2．1．3問(wèn)題的求解

2．2非線(xiàn)性回歸分析

2．3初見(jiàn)梯度下降

2．4Python圖解梯度下降

2．5小結(jié)

第3章基于規(guī)則的決策樹(shù)模型

3．1決策樹(shù)發(fā)展史

3．2決策樹(shù)算法

3．2．1ID3算法

3．2．2C4．5

3．2．3CART

3．2．4隨機(jī)森林

3．3Boosting家族

3．3．1XGBoost

3．3．2LightGBM

3．3．3CatBoost

3．4小結(jié)

第4章遺傳算法家族

4．1遺傳算法

4．1．1編碼

4．1．2初始化種群

4．1．3自然選擇

4．1．4交叉重組

4．1．5基因突變

4．1．6收斂

4．1．7遺傳算法總結(jié)

4．2蟻群算法

4．2．1螞蟻系統(tǒng)

4．2．2精英螞蟻系統(tǒng)

4．2．3最大最小螞蟻系統(tǒng)

4．2．4小結(jié)

第5章神經(jīng)網(wǎng)絡(luò)

5．1基本組成

5．1．1神經(jīng)元

5．1．2層

5．2反向傳播

5．2．1復(fù)習(xí)

5．2．2鋪墊

5．2．3公式推導(dǎo)

5．3反向傳播神經(jīng)網(wǎng)絡(luò)

5．4卷積神經(jīng)網(wǎng)絡(luò)

5．4．1卷積運(yùn)算

5．4．2卷積層

5．4．3池化層

5．5循環(huán)神經(jīng)網(wǎng)絡(luò)

5．5．1RNN用途

5．5．2RNN結(jié)構(gòu)

5．5．3RNN的反向傳播——BPTT

5．6小結(jié)

第6章深度神經(jīng)網(wǎng)絡(luò)

6．1概述

6．2VGG網(wǎng)絡(luò)

6．3GoogLeNet

6．3．1Inception v1

6．3．2Inception v2/v3

6．3．3Inception v4

6．3．4InceptionResnet

6．3．5GoogLeNet小結(jié)

6．4Resnet

6．5MobileNet

6．5．1CNN計(jì)算量如何計(jì)算

6．5．2深度可分離卷積

6．5．3ReLU6

6．5．4倒殘差

6．6EfficientNet

6．6．1模型的數(shù)學(xué)表達(dá)

6．6．2復(fù)合縮放

6．7風(fēng)格遷移

6．7．1內(nèi)容損失函數(shù)

6．7．2風(fēng)格損失函數(shù)

6．7．3風(fēng)格遷移的梯度下降

第7章循環(huán)神經(jīng)網(wǎng)絡(luò)

7．1長(zhǎng)短期記憶網(wǎng)絡(luò)

7．1．1LSTM結(jié)構(gòu)

7．1．2LSTM出現(xiàn)原因

7．2GRU

7．3注意力機(jī)制

7．3．1編碼解碼框架

7．3．2Attention結(jié)構(gòu)

第8章無(wú)監(jiān)督學(xué)習(xí)

8．1什么是無(wú)監(jiān)督學(xué)習(xí)

8．2聚類(lèi)算法

8．2．1Kmeans算法

8．2．2分級(jí)聚類(lèi)

8．2．3具有噪聲的基于密度的聚類(lèi)方法

8．3生成對(duì)抗網(wǎng)絡(luò)

8．3．1通俗易懂的解釋

8．3．2原理推導(dǎo)

8．3．3損失函數(shù)的問(wèn)題

8．3．4條件生成對(duì)抗網(wǎng)絡(luò)

8．4自編碼器

8．4．1自編碼器概述

8．4．2去噪自編碼器

8．4．3變分自編碼器

第9章目標(biāo)檢測(cè)

9．1目標(biāo)檢測(cè)概述

9．1．1通俗理解

9．1．2鋪墊知識(shí)點(diǎn)

9．1．3發(fā)展史

9．2YOLO v1

9．2．1輸出

9．2．2網(wǎng)絡(luò)

9．2．3輸入

9．2．4損失函數(shù)

9．2．5小結(jié)

9．3YOLO v2

9．3．1mAP

9．3．2改進(jìn)

9．3．3整體流程

9．3．4小結(jié)

9．4YOLO v3

第10章強(qiáng)化學(xué)習(xí)

10．1鋪墊知識(shí)

10．1．1什么是RL

10．1．2馬爾可夫決策過(guò)程

10．1．3回報(bào)Return

10．1．4價(jià)值函數(shù)

10．1．5貝爾曼方程

10．2DQN

10．2．1DQN損失函數(shù)

10．2．2DQN訓(xùn)練技巧

10．2．3DDQN

10．2．4基于優(yōu)先級(jí)的記憶回放

10．2．5Dueling DQN

10．3全面講解基礎(chǔ)知識(shí)

10．3．1策略梯度

10．3．2ActorCritic行動(dòng)者評(píng)論家算法

10．3．3A2C與優(yōu)勢(shì)函數(shù)

10．3．4Offpolicy

10．3．5連續(xù)動(dòng)作空間

第11章GAN進(jìn)階與變種

11．1基礎(chǔ)GAN存在的問(wèn)題

11．2DCGAN

11．2．1反卷積(轉(zhuǎn)置卷積+微步卷積)

11．2．2空洞卷積

11．3WGAN

11．3．1GAN問(wèn)題的再探討

11．3．2解決方案

11．4WGANGP

11．4．1WGAN的問(wèn)題

11．4．2梯度懲罰

11．5VAEGAN

11．6CVAEGAN


第12章實(shí)戰(zhàn)1： 決策樹(shù)與隨機(jī)森林

12．1數(shù)據(jù)集介紹

12．1．1乳腺癌數(shù)據(jù)簡(jiǎn)介

12．1．2任務(wù)介紹

12．2解決思路

12．2．1Pandas庫(kù)與Sklearn介紹

12．2．2探索數(shù)據(jù)

12．2．3決策樹(shù)模型

12．2．4隨機(jī)森林模型

12．3小結(jié)

第13章實(shí)戰(zhàn)2： MNIST手寫(xiě)數(shù)字分類(lèi)

13．1數(shù)據(jù)集介紹

13．1．1MNIST簡(jiǎn)介

13．1．2任務(wù)介紹

13．2解決思路

13．2．1圖像處理

13．2．2構(gòu)建模型的三要素

13．2．3訓(xùn)練模型

13．2．4評(píng)估模型

13．3進(jìn)一步改進(jìn)finetune

13．4小結(jié)

第14章實(shí)戰(zhàn)3： GAN基礎(chǔ)之手寫(xiě)數(shù)字對(duì)抗生成

14．1GAN任務(wù)描述

14．2GAN解決過(guò)程及講解

14．2．1數(shù)據(jù)準(zhǔn)備

14．2．2模型搭建

14．2．3訓(xùn)練過(guò)程(核心)

14．3GAN進(jìn)化——CGAN

14．4小結(jié)

14．5問(wèn)題發(fā)現(xiàn)

第15章實(shí)戰(zhàn)4： GAN進(jìn)階與優(yōu)化

15．1前情提要

15．2WGAN(2017)

15．3WGANGP(2017)

15．4DCGAN(2016)

15．5CVAEGAN

第16章實(shí)戰(zhàn)5： 風(fēng)格遷移

16．1任務(wù)介紹

16．2解決思路

16．2．1加載模型

16．2．2加載圖片

16．2．3獲取特征圖和Gram矩陣

16．2．4AI作畫(huà)

16．3小結(jié)

第17章實(shí)戰(zhàn)6： 目標(biāo)檢測(cè)(YOLO)

17．1Darknet．py

17．1．1__init__(self)

17．1．2forward(self,x)

17．1．3小結(jié)

17．2Detect．py

第18章實(shí)戰(zhàn)7： 人臉檢測(cè)

18．1什么是MTCNN

18．2MTCNN流程

18．2．1圖像金字塔

18．2．2PNet

18．2．3RNet

18．2．4ONet

18．3訓(xùn)練過(guò)程

第19章實(shí)戰(zhàn)8： 自然語(yǔ)言處理

19．1正則表達(dá)式

19．2快速上手textblob

19．2．1極性分析和詞性標(biāo)注

19．2．2詞干提取和拼寫(xiě)校正

19．2．3單詞字典

19．3基本概念

19．3．1樸素貝葉斯

19．3．2Ngram模型

19．3．3混淆矩陣

19．4基于樸素貝葉斯的垃圾郵件分類(lèi)

19．5基于隨機(jī)森林的垃圾郵件分類(lèi)

第20章Python與PyTorch相關(guān)

20．1PyTorch模型類(lèi)

20．2PyTorch的data類(lèi)

20．3激活函數(shù)

20．4損失函數(shù)

20．4．1均方誤差

20．4．2交叉熵

20．5model．train()與model．eval()

20．6Python的命令行庫(kù)argparse

第21章機(jī)器學(xué)習(xí)相關(guān)

21．1訓(xùn)練集、測(cè)試集、驗(yàn)證集

21．2epoch、batch、minibatch等

21．3規(guī)范化

21．3．1內(nèi)部協(xié)變量偏移

21．3．2批規(guī)范化

21．3．3BN vs LN

21．4SGD與MBGD

21．5適應(yīng)性矩估計(jì)

21．5．1Momentum

21．5．2AdaGrad

21．5．3RMSProp

21．5．4Adam算法小結(jié)

21．6正則化與范式

21．7標(biāo)簽平滑正則化

21．8RBM與DBN

21．9圖片的RGB和HSV

21．10網(wǎng)中網(wǎng)結(jié)構(gòu)

21．11K近鄰算法

21．12模擬退火算法

21．13流形學(xué)習(xí)

21．14端側(cè)神經(jīng)網(wǎng)絡(luò)GhostNet(2019)

21．14．1Ghost Module

21．14．2分組卷積

21．14．3SE Module

參考文獻(xiàn)