深度學(xué)習(xí)入門與實踐

第1章 機器學(xué)習(xí)概述與線性回歸模型
1.1 機器學(xué)習(xí)基本概念
1.2 神經(jīng)元模型
1.3 線性回歸
1.4 線性回歸的實現(xiàn)
1.5 模型的測試
1.6 Adagrad算法
1.7 高次模型
第2章 基于概率的分類模型
2.1 分類基本概念
2.2 回歸模型用于分類問題
2.3 分類問題的建模
2.4 先驗概率的估算
2.5 解決分類問題
2.6 模型優(yōu)化
2.7 基于概率的分類模型總結(jié)
2.8 后驗概率
第3章 邏輯回歸
3.1 邏輯回歸的三個步驟
3.2 邏輯回歸和線性回歸的比較
3.3 判別模型和生成模型
3.4 多類別分類
3.5 邏輯回歸的局限性
第4章 深度學(xué)習(xí)概述
4.1 深度學(xué)習(xí)的應(yīng)用及發(fā)展歷程
4.2 深度學(xué)習(xí)基本概念
4.3 全連接前饋神經(jīng)網(wǎng)絡(luò)
4.4 手寫體數(shù)字識別實例
4.4.1 模型構(gòu)建
4.4.2 實現(xiàn)MNIST數(shù)字識別
4.4.3 總結(jié)與思考
第5章 反向傳播
5.1 鏈?zhǔn)角髮?dǎo)
5.2 反向傳播的推導(dǎo)
5.3 反向傳播的Python實現(xiàn)
5.3.1 實現(xiàn)誤差反向傳播算法的兩層神經(jīng)網(wǎng)絡(luò)
5.3.2 誤差反向傳播的梯度確認(rèn)
5.3.3 使用誤差反向傳播法的學(xué)習(xí)
第6章 PyTorch編程案例
6.1 基于PyTorch的神經(jīng)網(wǎng)絡(luò)實現(xiàn)
6.2 訓(xùn)練參數(shù)分析
6.3 模型的保存和加載
6.4 模型的評估
第7章 深度學(xué)習(xí)訓(xùn)練技巧
7.1 深度學(xué)習(xí)訓(xùn)練中存在的問題
7.2 訓(xùn)練階段問題以及應(yīng)對技巧
7.2.1 梯度消失問題
7.2.2 更換激活函數(shù)
7.2.3 設(shè)置自適應(yīng)的學(xué)習(xí)率
7.3 測試階段問題的應(yīng)對技巧
7.3.1 早停
7.3.2 正則化
7.3.3 Dmpout
第8章 卷積神經(jīng)網(wǎng)絡(luò)
8.1 CNN設(shè)計準(zhǔn)則
8.1.1 局部性準(zhǔn)則
8.1.2 參數(shù)共享準(zhǔn)則
8.1.3 子采樣準(zhǔn)則
8.2 CNN的整體架構(gòu)
8.3 CNN的卷積層
8.3.1 卷積運算概述
8.3.2 卷積層和全連接層的比較
8.4 池化層
8.5 卷積之后的全連接層
第9章 深層網(wǎng)絡(luò)的意義
9.1 神經(jīng)網(wǎng)絡(luò)的層數(shù)
9.2 深度學(xué)習(xí)的模塊化思想
9.3 模塊化實例——語音
9.4 模塊化與萬有逼近定理
9.5 端到端學(xué)習(xí)
9.6 采用深度學(xué)習(xí)的更多理由
第10章 詞嵌入模型
10.1 獨熱編碼與單詞聚類
10.2 詞嵌人模型、單詞語義、上下文
10.3 兩種詞嵌入模型
10.4 詞嵌入模型的訓(xùn)練和變種
10.5 詞嵌入模型的性質(zhì)
10.6 詞嵌入模型的應(yīng)用
第11章 循環(huán)神經(jīng)網(wǎng)絡(luò)
11.1 填槽技術(shù)給DNN帶來的挑戰(zhàn)
11.2 RNN初探
11.3 RNN的變種
11.4 長短期記憶網(wǎng)絡(luò)單元
11.5 LSTM與DNN以及RNN的關(guān)聯(lián)
11.6 RNN的訓(xùn)練
11.7 RNN的應(yīng)用
參考文獻