TensorFlow 2 人工神經(jīng)網(wǎng)絡學習手冊

第1章　TensorFlow快速入門 001
1.1　什么是TensorFlow 2.0 002
1.1.1　TensorFlow 2.x平臺 002
1.1.2　訓練 003
1.1.3　模型保存 005
1.1.4　部署 005
1.2　TensorFlow 2.x提供什么 006
1.2.1　TensorFlow中的tf.keras 006
1.2.2　Eager執(zhí)行 006
1.2.3　分布式計算 007
1.2.4　TensorBoard 007
1.2.5　視覺套件（Vision Kit） 008
1.2.6　語音套件（Voice Kit） 008
1.2.7　邊緣套件（Edge TPU） 008
1.2.8　AIY套件的預訓練模型 009
1.2.9　數(shù)據(jù)管道 009
1.3　安裝 009
1.3.1　安裝步驟 009
1.3.2　Docker安裝 010
1.3.3　無安裝 010
1.4　測試 010
總結(jié) 012

第2章　深入研究TensorFlow 013
2.1　一個簡單的機器學習應用程序 013
2.1.1　創(chuàng)建Colab筆記本 014
2.1.2　導入 015
2.1.3　創(chuàng)建數(shù)據(jù) 016
2.1.4　定義神經(jīng)網(wǎng)絡 018
2.1.5　編譯模型 018
2.1.6　訓練網(wǎng)絡 018
2.1.7　檢查訓練結(jié)果 019
2.1.8　預測 021
2.1.9　完整源碼 022
2.2　使用TensorFlow解決二分類問題 024
2.2.1　創(chuàng)建項目 024
2.2.2　導入 024
2.2.3　掛載Google云盤 025
2.2.4　加載數(shù)據(jù) 026
2.2.5　數(shù)據(jù)處理 027
2.2.6　定義ANN 030
2.2.7　模型訓練 032
2.2.8　完整源碼 036
總結(jié) 039

第3章　深入了解tf.keras 040
3.1　開始 040
3.2　用于模型構(gòu)建的函數(shù)式API 041
3.2.1　序列化模型 041
3.2.2　模型子類 043
3.2.3　預定義層 044
3.2.4　自定義層 044
3.3　保存模型 046
3.4　卷積神經(jīng)網(wǎng)絡 049
3.5　使用CNN做圖像分類 050
3.5.1　創(chuàng)建項目 051
3.5.2　圖像數(shù)據(jù) 051
3.5.3　加載數(shù)據(jù) 052
3.5.4　創(chuàng)建訓練、測試數(shù)據(jù)集 052
3.5.5　準備模型訓練數(shù)據(jù) 053
3.5.6　模型開發(fā) 055
3.5.7　定義模型 060
3.5.8　保存模型 073
3.5.9　預測未知圖像 073
總結(jié) 075

第4章　遷移學習 076
4.1　知識遷移 076
4.2　TensorFlow Hub 077
4.2.1　預訓練模型 078
4.2.2　模型的使用 079
4.3　ImageNet分類器 080
4.3.1　創(chuàng)建項目 080
4.3.2　分類器URL 080
4.3.3　創(chuàng)建模型 081
4.3.4　準備圖像 082
4.3.5　加載標簽映射 083
4.3.6　顯示預測結(jié)果 084
4.3.7　列出所有類別 085
4.3.8　結(jié)果討論 085
4.4　犬種分類器 085
4.4.1　項目簡介 086
4.4.2　創(chuàng)建項目 086
4.4.3　加載數(shù)據(jù) 086
4.4.4　設置圖像和標簽 088
4.4.5　圖像預處理 091
4.4.6　處理圖像 091
4.4.7　關(guān)聯(lián)圖像與標簽 092
4.4.8　創(chuàng)建數(shù)據(jù)批次 093
4.4.9　顯示圖像函數(shù) 094
4.4.10　選擇預訓練模型 095
4.4.11　定義模型 095
4.4.12　創(chuàng)建數(shù)據(jù)集 097
4.4.13　設置TensorBoard 099
4.4.14　訓練模型 100
4.4.15　訓練日志 100
4.4.16　驗證模型性能 101
4.4.17　預測測試圖像 101
4.4.18　可視化測試結(jié)果 103
4.4.19　預測未知圖像 105
4.4.20　使用小數(shù)據(jù)集訓練 106
4.4.21　保存、加載模型 107
4.5　提交你的工作 108
4.6　進一步工作 108
總結(jié) 109

第5章　使用神經(jīng)網(wǎng)絡處理回歸問題 110
5.1　回歸 110
5.1.1　定義 110
5.1.2　應用 111
5.1.3　回歸問題 111
5.1.4　回歸問題的類型 111
5.2　神經(jīng)網(wǎng)絡中的回歸問題 112
5.2.1　創(chuàng)建項目 112
5.2.2　提取特征和標簽 113
5.2.3　定義、訓練模型 113
5.2.4　預測 114
5.3　分析葡萄酒質(zhì)量 114
5.3.1　創(chuàng)建項目 114
5.3.2　數(shù)據(jù)準備 114
5.3.3　下載數(shù)據(jù) 115
5.3.4　準備數(shù)據(jù)集 115
5.3.5　創(chuàng)建數(shù)據(jù)集 115
5.3.6　數(shù)據(jù)歸一化 116
5.3.7　創(chuàng)建模型 119
5.3.8　可視化評價函數(shù) 119
5.3.9　小模型 120
5.3.10　中模型 122
5.3.11　大模型 124
5.3.12　解決過擬合 126
5.3.13　結(jié)果討論 129
5.4　損失函數(shù) 130
5.4.1　均方誤差 130
5.4.2　平均絕對誤差 131
5.4.3　Huber損失 131
5.4.4　Log Cosh損失 131
5.4.5　分位數(shù)損失 131
5.5　優(yōu)化器 132
總結(jié) 132

第6章　Estimators（估算器） 134
6.1　Estimators概述 134
6.1.1　API接口 135
6.1.2　Estimators的優(yōu)點 135
6.1.3　Estimators的類型 136
6.1.4　基于Estimators的項目開發(fā)流程 137
6.2　設置Estimators 139
6.3　用于分類的DNN分類器 139
6.3.1　加載數(shù)據(jù) 140
6.3.2　準備數(shù)據(jù) 140
6.3.3　Estimators輸入函數(shù) 141
6.3.4　創(chuàng)建Estimators實例 142
6.3.5　模型訓練 142
6.3.6　模型評價 143
6.3.7　預測未知數(shù)據(jù) 144
6.3.8　實驗不同的ANN結(jié)構(gòu) 144
6.3.9　項目源碼 145
6.4　用于回歸的LinearRegressor 147
6.4.1　項目描述 147
6.4.2　創(chuàng)建項目 147
6.4.3　加載數(shù)據(jù) 148
6.4.4　特征選擇 148
6.4.5　數(shù)據(jù)清洗 149
6.4.6　創(chuàng)建數(shù)據(jù)集 151
6.4.7　建立特征列 152
6.4.8　定義輸入函數(shù) 154
6.4.9　創(chuàng)建Estimators實例對象 154
6.4.10　模型訓練 155
6.4.11　模型評估 155
6.4.12　項目源碼 156
6.5　自定義Estimators 158
6.5.1　創(chuàng)建項目 159
6.5.2　加載數(shù)據(jù) 159
6.5.3　創(chuàng)建數(shù)據(jù)集 159
6.5.4　定義模型 159
6.5.5　定義輸入函數(shù) 160
6.5.6　將模型轉(zhuǎn)換為Estimator 160
6.5.7　模型訓練 161
6.5.8　模型評價 161
6.5.9　項目源碼 161
6.6　為預訓練模型定義Estimators 163
6.6.1　創(chuàng)建項目 163
6.6.2　導入VGG16 163
6.6.3　創(chuàng)建自定義模型 163
6.6.4　編譯模型 165
6.6.5　創(chuàng)建Estimator 165
6.6.6　處理數(shù)據(jù) 165
6.6.7　訓練、評價 166
6.6.8　項目源碼 166
總結(jié) 167

第7章　文本生成 169
7.1　循環(huán)神經(jīng)網(wǎng)絡 170
7.1.1　樸素RNN 170
7.1.2　梯度消失和梯度爆炸 171
7.1.3　LSTM（一個特例） 171
7.2　文本生成 174
7.2.1　模型訓練 174
7.2.2　預測 175
7.2.3　模型定義 176
7.3　生成新生兒名字 176
7.3.1　創(chuàng)建項目 176
7.3.2　下載文本 177
7.3.3　處理文本 177
7.3.4　定義模型 180
7.3.5　編譯 181
7.3.6　創(chuàng)建checkpoints 182
7.3.7　訓練 182
7.3.8　預測 182
7.3.9　項目源碼-TextGeneration BabyNames 184
7.3.10　保存、重用模型 188
7.4　高級文本生成 188
7.4.1　創(chuàng)建項目 189
7.4.2　加載文本 189
7.4.3　處理數(shù)據(jù) 190
7.4.4　定義模型 191
7.4.5　創(chuàng)建checkpoints 191
7.4.6　自定義回調(diào)類 192
7.4.7　模型訓練 193
7.4.8　結(jié)果 193
7.4.9　斷點續(xù)訓練 194
7.4.10　過程觀察 195
7.4.11　項目源碼 196
7.5　進一步工作 199
總結(jié) 199

第8章　語言翻譯 200
8.1　sequence-to-sequence 模型 200
8.1.1　編碼器、解碼器 201
8.1.2　Seq2seq模型的缺點 203
8.2　注意力模型 203
8.3　英語翻譯為西班牙語 204
8.3.1　創(chuàng)建項目 204
8.3.2　下載數(shù)據(jù)集 205
8.3.3　創(chuàng)建數(shù)據(jù)集 205
8.3.4　數(shù)據(jù)預處理 207
8.3.5　GloVe詞嵌入 212
8.3.6　定義編碼器 214
8.3.7　定義解碼器 215
8.3.8　注意力網(wǎng)絡 216
8.3.9　定義模型 221
8.3.10　模型訓練 222
8.3.11　預測 222
8.3.12　項目源碼 229
總結(jié) 237

第9章　自然語言理解 238
9.1　Transformer簡介 238
9.2　Transformer詳解 239
9.2.1　下載原始數(shù)據(jù) 240
9.2.2　創(chuàng)建數(shù)據(jù)集 240
9.2.3　數(shù)據(jù)預處理 240
9.2.4　構(gòu)建語料庫 240
9.2.5　準備訓練集數(shù)據(jù) 243
9.2.6　Transformer模型 244
9.2.7　多頭注意力（機制） 245
9.2.8　Scaled Dot-Product 注意力模塊 248
9.2.9　編碼器結(jié)構(gòu) 249
9.2.10　編碼器 252
9.2.11　解碼器結(jié)構(gòu) 254
9.2.12　定義解碼器 257
9.2.13　Transformer模型 259
9.2.14　創(chuàng)建訓練模型 261
9.2.15　損失函數(shù) 261
9.2.16　優(yōu)化器 262
9.2.17　編譯 262
9.2.18　訓練 262
9.2.19　預測 263
9.2.20　測試 263
9.2.21　項目源碼 264
9.3　下一步是什么 276
總結(jié) 276

第10章　圖像描述 278
10.1　項目簡介 280
10.2　創(chuàng)建項目 280
10.3　下載數(shù)據(jù) 280
10.4　解析Token文件 282
10.4.1　加載數(shù)據(jù) 282
10.4.2　創(chuàng)建列表 283
10.5　加載InceptionV3模型 284
10.6　準備數(shù)據(jù)集 285
10.7　提取特征 285
10.8　創(chuàng)建詞匯表 286
10.9　創(chuàng)建輸入序列 286
10.10　創(chuàng)建訓練數(shù)據(jù)集 287
10.11　創(chuàng)建模型 288
10.12　創(chuàng)建編碼器 288
10.13　創(chuàng)建解碼器 288
10.13.1　Bahdanau注意力機制 289
10.13.2　解碼器功能 289
10.13.3　解碼器初始化 289
10.13.4　解碼器調(diào)用方法 290
10.13.5　注意力得分 290
10.13.6　注意力權(quán)重 290
10.13.7　上下文向量 291
10.13.8　解碼器實現(xiàn) 291
10.14　編碼器、解碼器實例化 294
10.15　定義優(yōu)化器和損失函數(shù) 294
10.16　創(chuàng)建checkpoints 296
10.17　訓練函數(shù) 297
10.18　模型訓練 298
10.19　模型預測 298
10.20　項目源碼 301
總結(jié) 310

第11章　時間序列預測 311
11.1　時間序列預測簡介 311
11.1.1　什么是時間序列預測 311
11.1.2　預測中的問題 312
11.1.3　時間序列組成 312
11.1.4　單變量與多變量 312
11.2　單變量時間序列分析 313
11.2.1　創(chuàng)建項目 313
11.2.2　準備數(shù)據(jù) 313
11.2.3　創(chuàng)建訓練集和測試集 316
11.2.4　創(chuàng)建輸入張量 319
11.2.5　構(gòu)建模型 320
11.2.6　編譯和訓練 320
11.2.7　評估 320
11.2.8　預測下一個數(shù)據(jù)點 322
11.2.9　預測數(shù)據(jù)點區(qū)間 323
11.2.10　項目源碼 325
11.3　多變量時間序列分析 330
11.3.1　創(chuàng)建項目 330
11.3.2　準備數(shù)據(jù) 331
11.3.3　檢查平穩(wěn)性 331
11.3.4　探索數(shù)據(jù) 332
11.3.5　準備數(shù)據(jù) 333
11.3.6　創(chuàng)建模型 335
11.3.7　訓練 335
11.3.8　評估 335
11.3.9　預測未來點 336
11.3.10　預測數(shù)據(jù)點區(qū)間 337
11.3.11　項目源碼 339
總結(jié) 343

第12章　風格遷移 344
12.1　快速風格遷移 345
12.1.1　創(chuàng)建項目 345
12.1.2　下載圖像 345
12.1.3　準備模型輸入圖像 347
12.1.4　執(zhí)行風格遷移 348
12.1.5　顯示輸出 348
12.1.6　更多結(jié)果 348
12.1.7　項目源碼 350
12.2　自定義風格遷移 351
12.2.1　VGG16結(jié)構(gòu) 352
12.2.2　創(chuàng)建項目 352
12.2.3　下載圖像 353
12.2.4　顯示圖像 354
12.2.5　圖像預處理 354
12.2.6　構(gòu)建模型 355
12.2.7　內(nèi)容損失 357
12.2.8　風格損失 357
12.2.9　全變分損失 357
12.2.10　計算內(nèi)容和風格損失 358
12.2.11　Evaluator類 359
12.2.12　生成輸出圖像 359
12.2.13　顯示圖像 360
12.2.14　項目源碼 361
總結(jié) 365

第13章　圖像生成 366
13.1　GAN（生成對抗網(wǎng)絡） 366
13.2　GAN如何工作 366
13.3　生成器 367
13.4　判別器 367
13.5　數(shù)學公式 368
13.6　數(shù)字生成 369
13.6.1　創(chuàng)建項目 369
13.6.2　加載數(shù)據(jù)集 369
13.6.3　準備數(shù)據(jù)集 370
13.6.4　定義生成器模型 370
13.6.5　測試生成器 372
13.6.6　定義判別器模型 373
13.6.7　測試判別器 374
13.6.8　定義損失函數(shù) 375
13.6.9　定義新訓練函數(shù) 376
13.6.10　項目源碼 380
13.7　字母生成 385
13.7.1　下載數(shù)據(jù) 385
13.7.2　創(chuàng)建單字母數(shù)據(jù)集 385
13.7.3　輸出結(jié)果 386
13.7.4　項目源碼 387
13.8　印刷體到手寫體 392
13.9　生成彩色卡通圖像 392
13.9.1　下載數(shù)據(jù)集 392
13.9.2　創(chuàng)建數(shù)據(jù)集 392
13.9.3　顯示圖像 393
13.9.4　輸出結(jié)果 394
13.9.5　項目源碼 394
總結(jié) 400

第14章　圖像轉(zhuǎn)換 401
14.1　自動編碼器 401
14.2　色彩空間 402
14.3　網(wǎng)絡配置 402
14.3.1　Vanilla模型 403
14.3.2　Merged模型 403
14.3.3　使用預訓練的Merged模型 403
14.4　自動編碼器 404
14.4.1　加載數(shù)據(jù) 405
14.4.2　創(chuàng)建訓練、測試數(shù)據(jù)集 406
14.4.3　準備訓練數(shù)據(jù) 406
14.4.4　定義模型 407
14.4.5　模型訓練 410
14.4.6　測試 410
14.4.7　未知圖像預測 412
14.4.8　項目源碼 413
14.5　編碼器的預訓練模型 418
14.5.1　項目簡介 418
14.5.2　定義模型 418
14.5.3　提取特征 418
14.5.4　定義網(wǎng)絡 419
14.5.5　模型訓練 420
14.5.6　預測 421
14.5.7　未知圖像預測 421
14.5.8　項目源碼 422
總結(jié) 426