TensorFlow：實戰(zhàn)Google深度學習框架

第1章 深度學習簡介 1 1.1 人工智能、機器學習與深度學習 2 1.2 深度學習的發(fā)展歷程 7 1.3 深度學習的應用 10 1.3.1 計算機視覺 10 1.3.2 語音識別 14 1.3.3 自然語言處理 15 1.3.4 人機博弈 18 1.4 深度學習工具介紹和對比 19 小結 23 第2章 TensorFlow環(huán)境搭建 25 2.1 TensorFlow的主要依賴包 25 2.1.1 Protocol Buffer 25 2.1.2 Bazel 27 2.2 TensorFlow安裝 29 2.2.1 使用Docker安裝 30 2.2.2 使用pip安裝 32 2.2.3 從源代碼編譯安裝 33 2.3 TensorFlow測試樣例 37 小結 38 第3章 TensorFlow入門 40 3.1 TensorFlow計算模型——計算圖 40 3.1.1 計算圖的概念 40 3.1.2 計算圖的使用 41 3.2 TensorFlow數(shù)據(jù)模型——張量 43 3.2.1 張量的概念 43 3.2.2 張量的使用 45 3.3 TensorFlow運行模型——會話 46 3.4 TensorFlow實現(xiàn)神經(jīng)網(wǎng)絡 48 3.4.1 TensorFlow游樂場及神經(jīng)網(wǎng)絡簡介 48 3.4.2 前向傳播算法簡介 51 3.4.3 神經(jīng)網(wǎng)絡參數(shù)與TensorFlow變量 54 3.4.4 通過TensorFlow訓練神經(jīng)網(wǎng)絡模型 58 3.4.5 完整神經(jīng)網(wǎng)絡樣例程序 62 小結 65 第4章 深層神經(jīng)網(wǎng)絡 66 4.1 深度學習與深層神經(jīng)網(wǎng)絡 66 4.1.1 線性模型的局限性 67 4.1.2 激活函數(shù)實現(xiàn)去線性化 70 4.1.3 多層網(wǎng)絡解決異或運算 73 4.2 損失函數(shù)定義 74 4.2.1 經(jīng)典損失函數(shù) 75 4.2.2 自定義損失函數(shù) 79 4.3 神經(jīng)網(wǎng)絡優(yōu)化算法 81 4.4 神經(jīng)網(wǎng)絡進一步優(yōu)化 84 4.4.1 學習率的設置 85 4.4.2 過擬合問題 87 4.4.3 滑動平均模型 90 小結 92 第5章 MNIST數(shù)字識別問題 94 5.1 MNIST數(shù)據(jù)處理 94 5.2 神經(jīng)網(wǎng)絡模型訓練及不同模型結果對比 97 5.2.1 TensorFlow訓練神經(jīng)網(wǎng)絡 97 5.2.2 使用驗證數(shù)據(jù)集判斷模型效果 102 5.2.3 不同模型效果比較 103 5.3 變量管理 107 5.4 TensorFlow模型持久化 112 5.4.1 持久化代碼實現(xiàn) 112 5.4.2 持久化原理及數(shù)據(jù)格式 117 5.5 TensorFlow最佳實踐樣例程序 126 小結 132 第6章 圖像識別與卷積神經(jīng)網(wǎng)絡 134 6.1 圖像識別問題簡介及經(jīng)典數(shù)據(jù)集 135 6.2 卷積神經(jīng)網(wǎng)絡簡介 139 6.3 卷積神經(jīng)網(wǎng)絡常用結構 142 6.3.1 卷積層 142 6.3.2 池化層 147 6.4 經(jīng)典卷積網(wǎng)絡模型 149 6.4.1 LeNet-5模型 150 6.4.2 Inception-v3模型 156 6.5 卷積神經(jīng)網(wǎng)絡遷移學習 160 6.5.1 遷移學習介紹 160 6.5.2 TensorFlow實現(xiàn)遷移學習 161 小結 169 第7章 圖像數(shù)據(jù)處理 170 7.1 TFRecord輸入數(shù)據(jù)格式 170 7.1.1 TFRecord格式介紹 171 7.1.2 TFRecord樣例程序 171 7.2 圖像數(shù)據(jù)處理 173 7.2.1 TensorFlow圖像處理函數(shù) 174 7.2.2 圖像預處理完整樣例 183 7.3 多線程輸入數(shù)據(jù)處理框架 185 7.3.1 隊列與多線程 186 7.3.2 輸入文件隊列 190 7.3.3 組合訓練數(shù)據(jù)（batching） 193 7.3.4 輸入數(shù)據(jù)處理框架 196 小結 198 第8章 循環(huán)神經(jīng)網(wǎng)絡 200 8.1 循環(huán)神經(jīng)網(wǎng)絡簡介 200 8.2 長短時記憶網(wǎng)絡（LTSM）結構 206 8.3 循環(huán)神經(jīng)網(wǎng)絡的變種 212 8.3.1 雙向循環(huán)神經(jīng)網(wǎng)絡和深層循環(huán)神經(jīng)網(wǎng)絡 212 8.3.2 循環(huán)神經(jīng)網(wǎng)絡的dropout 214 8.4 循環(huán)神經(jīng)網(wǎng)絡樣例應用 215 8.4.1 自然語言建模 216 8.4.2 時間序列預測 225 小結 230 第9章 TensorBoard可視化 232 9.1 TensorBoard簡介 232 9.2 TensorFlow計算圖可視化 234 9.2.1 命名空間與TensorBoard圖上節(jié)點 234 9.2.2 節(jié)點信息 241 9.3 監(jiān)控指標可視化 246 小結 252 第10章 TensorFlow計算加速 253 10.1 TensorFlow使用GPU 253 10.2 深度學習訓練并行模式 258 10.3 多GPU并行 261 10.4 分布式TensorFlow 268 10.4.1 分布式TensorFlow原理 269 10.4.2 分布式TensorFlow模型訓練 272 10.4.3 使用Caicloud運行分布式TensorFlow 282 小結 287