深度學(xué)習(xí)與MindSpore實(shí)踐

序言一（徐直軍-華為輪值董事長）
序言二（樊文飛-中國科學(xué)院外籍院士）
前言
第1章引言00
1.1人工智能的歷史變遷00
1.2什么是深度學(xué)習(xí)00
1.3深度學(xué)習(xí)的現(xiàn)實(shí)應(yīng)用00
1.3.1自動(dòng)語音識別00
1.3.2圖像識別00
1.3.3自然語言處理00
1.3.4其他領(lǐng)域00
1.4本書的組織架構(gòu)00
1.5MindSpore簡介00
1.5.1編程簡單00
1.5.2端云協(xié)同0
1.5.3調(diào)試輕松0
1.5.4性能卓越0
1.5.5開源開放0
第2章深度學(xué)習(xí)基礎(chǔ)知識0
2.1回歸問題算法0
2.2梯度下降算法0
2.3分類問題算法0
2.4過擬合與欠擬合0
第3章深度神經(jīng)網(wǎng)絡(luò)0
3.1前向網(wǎng)絡(luò)0
3.2反向傳播0
3.3泛化能力0
3.4用MindSpore實(shí)現(xiàn)簡單神經(jīng)網(wǎng)絡(luò)0
3.4.1各層參數(shù)說明0
3.4.2詳細(xì)步驟0

目錄
第4章深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練0
4.1深度學(xué)習(xí)系統(tǒng)面臨的主要挑戰(zhàn)0
4.1.1大數(shù)據(jù)集需求0
4.1.2硬件需求0
4.1.3過擬合0
4.1.4超參數(shù)優(yōu)化0
4.1.5不透明性0
4.1.6缺少靈活性0
4.2正則化0
4.2.1L2范數(shù)正則化0
4.2.2L1范數(shù)正則化0
4.3Dropout0
4.4自適應(yīng)學(xué)習(xí)率0
4.4.1AdaGrad0
4.4.2RMSProp0
4.4.3Adam0
4.5批標(biāo)準(zhǔn)化0
4.6用MindSpore 實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)0
4.6.1各層參數(shù)說明0
4.6.2詳細(xì)步驟0
第5章卷積神經(jīng)網(wǎng)絡(luò)0
5.1卷積操作0
5.2池化0
5.3殘差網(wǎng)絡(luò)0
5.4應(yīng)用：圖片分類0
5.5用MindSpore實(shí)現(xiàn)基于卷積神經(jīng)網(wǎng)絡(luò)圖片分類0
5.5.1加載MindSpore模塊0
5.5.2定義ResNet網(wǎng)絡(luò)結(jié)構(gòu)0
5.5.3設(shè)置超參數(shù)0
5.5.4導(dǎo)入數(shù)據(jù)集0
5.5.5訓(xùn)練模型0
第6章循環(huán)神經(jīng)網(wǎng)絡(luò)0
6.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述0
6.2深度循環(huán)神經(jīng)網(wǎng)絡(luò)0
6.3長期依賴的挑戰(zhàn)0
6.4長短期記憶網(wǎng)絡(luò)和門控循環(huán)神經(jīng)網(wǎng)絡(luò)0
6.4.1長短期記憶網(wǎng)絡(luò)0
6.4.2門控循環(huán)神經(jīng)網(wǎng)絡(luò)0
6.5應(yīng)用：文本預(yù)測0
6.6用MindSpore實(shí)現(xiàn)基于長短期記憶網(wǎng)絡(luò)的文本預(yù)測0
6.6.1加載MindSpore模塊0
6.6.2數(shù)據(jù)準(zhǔn)備0
6.6.3定義網(wǎng)絡(luò)0
6.6.4參數(shù)介紹0
6.6.5訓(xùn)練模型0
參考文獻(xiàn)0
第7章無監(jiān)督學(xué)習(xí)： 詞向量0
7.1Word2Vec0
7.1.1提出背景0
7.1.2發(fā)展現(xiàn)狀0
7.1.3技術(shù)原理0
7.1.4技術(shù)難點(diǎn)0
7.1.5應(yīng)用場景0
7.1.6框架模塊0
7.2GloVe0
7.2.1提出背景0
7.2.2發(fā)展現(xiàn)狀0
7.2.3技術(shù)原理0
7.2.4技術(shù)難點(diǎn)0
7.2.5應(yīng)用場景
7.2.6框架模塊
7.3Transformer
7.3.1提出背景
7.3.2發(fā)展現(xiàn)狀
7.3.3技術(shù)原理
7.3.4技術(shù)難點(diǎn)
7.3.5應(yīng)用場景
7.3.6框架模塊
7.4BERT
7.4.1提出背景
7.4.2發(fā)展現(xiàn)狀
7.4.3技術(shù)原理
7.4.4技術(shù)難點(diǎn)
7.4.5應(yīng)用場景
7.4.6框架模塊
7.5詞向量典型生成算法對比
7.6應(yīng)用：自動(dòng)問答
7.6.1自動(dòng)問答的相關(guān)概念
7.6.2傳統(tǒng)的自動(dòng)問答方法
7.6.3基于深度學(xué)習(xí)的自動(dòng)問答方法
7.7用MindSpore 實(shí)現(xiàn)基于BERT的自動(dòng)問答
7.7.1數(shù)據(jù)集準(zhǔn)備
7.7.2訓(xùn)練BERT網(wǎng)絡(luò)
參考文獻(xiàn)
第8章無監(jiān)督學(xué)習(xí)： 圖向量
8.1圖向量簡介
8.2DeepWalk算法
8.2.1DeepWalk算法原理
8.2.2DeepWalk算法實(shí)現(xiàn)
8.3LINE算法
8.3.1LINE算法原理
8.3.2LINE算法實(shí)現(xiàn)
8.4Node2Vec算法
8.4.1Node2Vec算法原理
8.4.2Node2Vec算法實(shí)現(xiàn)
8.5GCN算法
8.5.1GCN算法原理
8.5.2GCN算法實(shí)現(xiàn)
8.6GAT算法
8.6.1GAT算法原理
8.6.2GAT算法實(shí)現(xiàn)
8.7應(yīng)用：推薦系統(tǒng)
8.7.1工業(yè)界中的推薦系統(tǒng)
8.7.2推薦系統(tǒng)中的圖神經(jīng)網(wǎng)絡(luò)模型
參考文獻(xiàn)
第9章無監(jiān)督學(xué)習(xí)： 深度生成模型
9.1變分自編碼器
9.1.1提出背景
9.1.2發(fā)展現(xiàn)狀
9.1.3技術(shù)原理
9.1.4技術(shù)難點(diǎn)
9.1.5應(yīng)用場景
9.2生成對抗網(wǎng)絡(luò)
9.2.1提出背景
9.2.2發(fā)展現(xiàn)狀
9.2.3技術(shù)原理
9.2.4技術(shù)難點(diǎn)
9.2.5應(yīng)用場景
9.2.6框架模塊
9.3應(yīng)用：數(shù)據(jù)增強(qiáng)
9.3.1數(shù)據(jù)增強(qiáng)的定義
9.3.2數(shù)據(jù)增強(qiáng)的目的
9.3.3傳統(tǒng)數(shù)據(jù)增強(qiáng)的方法
9.3.4基于深度學(xué)習(xí)的數(shù)據(jù)增強(qiáng)方法
9.4用MindSpore實(shí)現(xiàn)基于生成對抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)
參考文獻(xiàn)
第10章深度強(qiáng)化學(xué)習(xí)
10.1強(qiáng)化學(xué)習(xí)基本概念
10.1.1基礎(chǔ)概念與理論
10.1.2馬爾可夫決策過程
10.1.3貝爾曼方程
10.2基本求解方法
10.2.1動(dòng)態(tài)規(guī)劃法
10.2.2蒙特卡羅法
10.2.3時(shí)間差分法
10.3深度強(qiáng)化學(xué)習(xí)算法
10.3.1DQN算法
10.3.2DDPG算法
10.3.3A3C算法
10.4最新應(yīng)用
10.4.1推薦系統(tǒng)
10.4.2博弈游戲
10.5用MindSpore實(shí)現(xiàn)基于DQN的博弈游戲
參考文獻(xiàn)
第11章自動(dòng)化機(jī)器學(xué)習(xí)
11.1AutoML框架
11.1.1NAS算法
11.1.2超參調(diào)優(yōu)
11.2現(xiàn)有AutoML系統(tǒng)介紹
11.2.1AutoWeka/AutoSklearn/HyperOpt
11.2.2Microsoft NNI
11.3元學(xué)習(xí)
11.3.1學(xué)習(xí)優(yōu)化器
11.3.2學(xué)習(xí)參數(shù)初始化
11.3.3學(xué)習(xí)損失函數(shù)
11.3.4學(xué)習(xí)度量
11.4用MindSpore實(shí)現(xiàn)AutoML
參考文獻(xiàn)
第12章端云協(xié)同
12.1端側(cè)推理
12.2端云遷移學(xué)習(xí)
12.3端云聯(lián)邦學(xué)習(xí)
12.3.1聯(lián)邦平均
12.3.2梯度壓縮
12.4端云協(xié)同框架
參考文獻(xiàn)
第13章深度學(xué)習(xí)可視化
13.1深度學(xué)習(xí)可視化概述
13.1.1數(shù)據(jù)分析
13.1.2模型建立與理解
13.1.3訓(xùn)練
13.1.4評估
13.2MindSpore可視化實(shí)踐
13.2.1可視化流程
13.2.2數(shù)據(jù)集可視化
13.2.3模型與訓(xùn)練可視化
13.2.4Summary匯總數(shù)據(jù)格式
參考文獻(xiàn)
第14章深度學(xué)習(xí)的數(shù)據(jù)準(zhǔn)備
14.1數(shù)據(jù)格式概述
14.2深度學(xué)習(xí)中的數(shù)據(jù)格式
14.2.1原始輸入
14.2.2標(biāo)注信息
14.3常用的深度學(xué)習(xí)數(shù)據(jù)格式
14.3.1TFRecord格式
14.3.2LMDB存儲
14.3.3Rec格式
14.3.4MindSpore數(shù)據(jù)格式
14.3.5MindSpore數(shù)據(jù)集
14.4使用MindSpore數(shù)據(jù)格式進(jìn)行訓(xùn)練數(shù)據(jù)準(zhǔn)備
14.4.1MindSpore數(shù)據(jù)格式生成
14.4.2MindSpore數(shù)據(jù)格式統(tǒng)計(jì)與檢索
14.4.3MindSpore數(shù)據(jù)格式訓(xùn)練數(shù)據(jù)讀取
附錄A中、英文對照詞匯表
附錄BMindSpore白皮書
參考文獻(xiàn)