動手學(xué)PyTorch深度學(xué)習(xí)建模與應(yīng)用

第1章 深度學(xué)習(xí)環(huán)境搭建 1
1.1 深度學(xué)習(xí)概述 1
1.1.1 深度學(xué)習(xí)發(fā)展歷史 1
1.1.2 深度學(xué)習(xí)框架比較 2
1.1.3 深度學(xué)習(xí)應(yīng)用領(lǐng)域 5
1.2 搭建開發(fā)環(huán)境 6
1.2.1 安裝Python 3.10 6
1.2.2 安裝Jupyter Lab 10
1.2.3 安裝PyTorch 1.10 12
1.3 PyTorch應(yīng)用場景 16
1.4 動手練習(xí)：每日最高溫度預(yù)測 17
1.5 練習(xí)題 20
第2章 PyTorch與數(shù)學(xué)基礎(chǔ) 21
2.1 PyTorch中的函數(shù) 21
2.1.1 函數(shù)基礎(chǔ)知識 21
2.1.2 PyTorch中的主要函數(shù) 24
2.2 微分基礎(chǔ) 26
2.2.1 微分及其公式 26
2.2.2 PyTorch自動微分 28
2.3 數(shù)理統(tǒng)計(jì)基礎(chǔ) 33
2.3.1 數(shù)理統(tǒng)計(jì)及其指標(biāo) 33
2.3.2 PyTorch統(tǒng)計(jì)函數(shù) 38
2.4 矩陣基礎(chǔ) 46
2.4.1 矩陣及其運(yùn)算 47
2.4.2 PyTorch矩陣運(yùn)算 49
2.5 動手練習(xí)：擬合余弦函數(shù)曲線 54
2.6 練習(xí)題 57
第3章 PyTorch的基本概念 58
3.1 張量及其創(chuàng)建 58
3.1.1 張量及其數(shù)據(jù)類型 58
3.1.2 數(shù)組直接創(chuàng)建張量 59
3.1.3 概率分布創(chuàng)建張量 61
3.2 激活函數(shù) 62
3.2.1 激活函數(shù)及必要性 62
3.2.2 Sigmoid激活函數(shù) 63
3.2.3 Tanh激活函數(shù) 64
3.2.4 ReLU激活函數(shù) 65
3.2.5 Leakly ReLU激活函數(shù) 67
3.2.6 其他類型的激活函數(shù) 68
3.3 損失函數(shù) 69
3.3.1 損失函數(shù)及選取 69
3.3.2 L1范數(shù)損失函數(shù) 70
3.3.3 均方誤差損失函數(shù) 71
3.3.4 交叉熵?fù)p失函數(shù) 72
3.3.5 余弦相似度損失 73
3.3.6 其他損失函數(shù) 74
3.4 優(yōu)化器 74
3.4.1 梯度及梯度下降 74
3.4.2 隨機(jī)梯度下降算法 76
3.4.3 標(biāo)準(zhǔn)動量優(yōu)化算法 76
3.4.4 AdaGrad算法 77
3.4.5 RMSProp算法 77
3.4.6 Adam算法 78
3.5 動手練習(xí)：PyTorch優(yōu)化器比較 78
3.6 練習(xí)題 82
第4章 PyTorch深度神經(jīng)網(wǎng)絡(luò) 83
4.1 神經(jīng)網(wǎng)絡(luò)概述 83
4.1.1 神經(jīng)元模型 83
4.1.2 多層感知器 85
4.1.3 前饋神經(jīng)網(wǎng)絡(luò) 87
4.2 卷積神經(jīng)網(wǎng)絡(luò) 87
4.2.1 卷積神經(jīng)網(wǎng)絡(luò)的歷史 88
4.2.2 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 88
4.2.3 卷積神經(jīng)網(wǎng)絡(luò)的類型 90
4.3 幾種常見的循環(huán)神經(jīng)網(wǎng)絡(luò) 93
4.3.1 循環(huán)神經(jīng)網(wǎng)絡(luò) 93
4.3.2 長短期記憶網(wǎng)絡(luò) 96
4.3.3 門控循環(huán)單元 97
4.4 動手練習(xí)：股票成交量趨勢預(yù)測 98
4.5 練習(xí)題 104
第5章 PyTorch數(shù)據(jù)建模 105
5.1 回歸分析及案例 105
5.1.1 回歸分析簡介 105
5.1.2 回歸分析建模 106
5.1.3 動手練習(xí)：住房價(jià)格回歸預(yù)測 109
5.2 聚類分析及案例 112
5.2.1 聚類分析簡介 113
5.2.2 聚類分析建模 113
5.2.3 動手練習(xí)：植物花卉特征聚類 115
5.3 主成分分析及案例 118
5.3.1 主成分分析簡介 118
5.3.2 主成分分析建模 119
5.3.3 動手練習(xí)：地區(qū)競爭力指標(biāo)降維 120
5.4 模型評估與調(diào)優(yōu) 124
5.4.1 模型評估方法 124
5.4.2 模型調(diào)優(yōu)方法 128
5.4.3 動手練習(xí)：PyTorch實(shí)現(xiàn)交叉驗(yàn)證 129
5.5 練習(xí)題 134
第6章 PyTorch圖像建模 135
6.1 圖像建模概述 135
6.1.1 圖像分類技術(shù) 135
6.1.2 圖像識別技術(shù) 136
6.1.3 圖像分割技術(shù) 137
6.2 動手練習(xí)：創(chuàng)建圖像自動分類器 138
6.2.1 加載數(shù)據(jù)集 138
6.2.2 搭建網(wǎng)絡(luò)模型 139
6.2.3 訓(xùn)練網(wǎng)絡(luò)模型 140
6.2.4 應(yīng)用網(wǎng)絡(luò)模型 141
6.3 動手練習(xí)：搭建圖像自動識別模型 142
6.3.1 加載數(shù)據(jù)集 142
6.3.2 搭建與訓(xùn)練網(wǎng)絡(luò) 143
6.3.3 預(yù)測圖像數(shù)據(jù) 144
6.3.4 圖像識別模型的判斷 145
6.4 動手練習(xí)：搭建圖像自動分割模型 148
6.4.1 加載數(shù)據(jù)集 148
6.4.2 搭建網(wǎng)絡(luò)模型 149
6.4.3 訓(xùn)練網(wǎng)絡(luò)模型 152
6.4.4 應(yīng)用網(wǎng)絡(luò)模型 153
6.5 練習(xí)題 155
第7章 PyTorch文本建模 156
7.1 自然語言處理的幾個模型 156
7.1.1 Word2Vec模型 156
7.1.2 Seq2Seq模型 157
7.1.3 Attention模型 158
7.2 動手練習(xí)：Word2Vec提取相似文本 159
7.2.1 加載數(shù)據(jù)集 159
7.2.2 搭建網(wǎng)絡(luò)模型 162
7.2.3 訓(xùn)練網(wǎng)絡(luò)模型 163
7.2.4 應(yīng)用網(wǎng)絡(luò)模型 164
7.3 動手練習(xí)：Seq2Seq實(shí)現(xiàn)機(jī)器翻譯 165
7.3.1 加載數(shù)據(jù)集 165
7.3.2 搭建網(wǎng)絡(luò)模型 168
7.3.3 訓(xùn)練網(wǎng)絡(luò)模型 172
7.3.4 應(yīng)用網(wǎng)絡(luò)模型 174
7.4 動手練習(xí)：Attention模型實(shí)現(xiàn)文本自動分類 175
7.4.1 加載數(shù)據(jù)集 175
7.4.2 搭建網(wǎng)絡(luò)模型 177
7.4.3 訓(xùn)練網(wǎng)絡(luò)模型 178
7.4.4 應(yīng)用網(wǎng)絡(luò)模型 181
7.5 練習(xí)題 181
第8章 PyTorch音頻建模 182
8.1 音頻處理及應(yīng)用 182
8.1.1 音頻處理技術(shù) 182
8.1.2 音頻摘要及應(yīng)用 183
8.1.3 音頻識別及應(yīng)用 184
8.1.4 音頻監(jiān)控及應(yīng)用 185
8.1.5 場景感知及其應(yīng)用 186
8.2 音頻特征提取步驟 187
8.2.1 特征提取流程 187
8.2.2 音頻預(yù)處理 187
8.2.3 傅里葉變換 188
8.2.4 能量譜處理 189
8.2.5 離散余弦轉(zhuǎn)換 190
8.3 PyTorch音頻建模 190
8.3.1 加載音頻數(shù)據(jù)源 190
8.3.2 波形變換的類型 191
8.3.3 繪制波形頻譜圖 192
8.3.4 波形Mu-Law編碼 194
8.3.5 變換前后波形比較 196
8.4 動手練習(xí)：音頻相似度分析 196
8.5 練習(xí)題 198
第9章 PyTorch模型可視化 199
9.1 Visdom 199
9.1.1 Visdom簡介 199
9.1.2 Visdom可視化操作 201
9.1.3 動手練習(xí)：識別手寫數(shù)字 214
9.2 TensorBoard 219
9.2.1 TensorBoard簡介 219
9.2.2 TensorBoard基礎(chǔ)操作 221
9.2.3 動手練習(xí)：可視化模型參數(shù) 229
9.3 Pytorchviz 231
9.3.1 Pytorchviz簡介 231
9.3.2 動手練習(xí)：Pytorchviz建模可視化 231
9.4 Netron 233
9.4.1 Netron簡介 233
9.4.2 動手練習(xí)：Netron建?？梢暬?234
9.5 練習(xí)題 237
第10章 PyTorch聯(lián)邦學(xué)習(xí) 238
10.1 聯(lián)邦學(xué)習(xí)算法簡介 238
10.1.1 聯(lián)邦學(xué)習(xí)提出背景 238
10.1.2 聯(lián)邦學(xué)習(xí)基本概念 239
10.2 聯(lián)邦學(xué)習(xí)主要類型 239
10.2.1 橫向聯(lián)邦學(xué)習(xí)及其過程 240
10.2.2 縱向聯(lián)邦學(xué)習(xí)及其過程 241
10.2.3 聯(lián)邦遷移學(xué)習(xí)及其過程 242
10.3 聯(lián)邦學(xué)習(xí)研究現(xiàn)狀 242
10.3.1 算法重要研究進(jìn)展 242
10.3.2 聯(lián)邦學(xué)習(xí)算法優(yōu)化 243
10.3.3 主要應(yīng)用前景介紹 244
10.4 動手練習(xí)：手寫數(shù)字識別 245
10.4.1 讀取手寫數(shù)據(jù)集 245
10.4.2 訓(xùn)練與測試模型 246
10.4.3 模型結(jié)果輸出 250
10.5 練習(xí)題 252
附錄A Python常用第三方工具包簡介 253
A.1 數(shù)據(jù)分析類包 253
A.2 數(shù)據(jù)可視化類包 254
A.3 機(jī)器學(xué)習(xí)類包 255
參考文獻(xiàn) 258