智能問(wèn)答與深度學(xué)習(xí)

1 概述1
1.1 智能問(wèn)答：讓機(jī)器更好地服務(wù)于人 1
1.2 問(wèn)答系統(tǒng)類型介紹 2
1.2.1 基于事實(shí)的問(wèn)答系統(tǒng) 3
1.2.2 基于常見問(wèn)題集的問(wèn)答系統(tǒng) 3
1.2.3 開放域的問(wèn)答系統(tǒng) 4
1.3 使用本書附帶的源碼程序 4
1.3.1 安裝依賴軟件 4
1.3.2 下載源碼 5
1.3.3 執(zhí)行示例程序 5
1.3.4 聯(lián)系我們 6
1.4 全書結(jié)構(gòu) 6
2 機(jī)器學(xué)習(xí)基礎(chǔ)8
2.1 線性代數(shù) 8
2.1.1 標(biāo)量、向量、矩陣和張量 8
2.1.2 矩陣運(yùn)算 9
2.1.3 特殊類型的矩陣 10
2.1.4 線性相關(guān) 11
2.1.5 范數(shù) 12
2.2 概率論基礎(chǔ) 12
2.2.1 隨機(jī)變量 13
2.2.2 期望和方差 13
2.2.3 伯努利分布 14
2.2.4 二項(xiàng)分布 14
2.2.5 泊松分布 15
2.2.6 正態(tài)分布 15
2.2.7 條件概率、聯(lián)合概率和全概率 17
2.2.8 先驗(yàn)概率與后驗(yàn)概率 18
2.2.9 邊緣概率 18
2.2.10 貝葉斯公式 18
2.2.11 最大似然估計(jì)算法 19
2.2.12 線性回歸模型 20
2.2.13 邏輯斯蒂回歸模型 21
2.3 信息論基礎(chǔ) 22
2.3.1 熵 23
2.3.2 聯(lián)合熵和條件熵 23
2.3.3 相對(duì)熵與互信息 24
2.3.4 信道和信道容量 25
2.3.5 最大熵模型 26
2.3.6 信息論與機(jī)器學(xué)習(xí) 29
2.4 統(tǒng)計(jì)學(xué)習(xí) 29
2.4.1 輸入空間、特征空間與輸出空間 30
2.4.2 向量表示 30
2.4.3 數(shù)據(jù)集 31
2.4.4 從概率到函數(shù) 31
2.4.5 統(tǒng)計(jì)學(xué)習(xí)三要素 32
2.5 隱馬爾可夫模型 33
2.5.1 隨機(jī)過(guò)程和馬爾可夫鏈 33
2.5.2 隱馬爾可夫模型的定義 36
2.5.3 三個(gè)基本假設(shè)及適用場(chǎng)景 37
2.5.4 概率計(jì)算問(wèn)題之直接計(jì)算 39
2.5.5 概率計(jì)算問(wèn)題之前向算法 40
2.5.6 概率計(jì)算問(wèn)題之后向算法 42
2.5.7 預(yù)測(cè)問(wèn)題之維特比算法 45
2.5.8 學(xué)習(xí)問(wèn)題之Baum-Welch 算法 48
2.6 條件隨機(jī)場(chǎng)模型 52
2.6.1 超越HMM 52
2.6.2 項(xiàng)目實(shí)踐 55
2.7 總結(jié) 59
3 自然語(yǔ)言處理基礎(chǔ)60
3.1 中文自動(dòng)分詞 60
3.1.1 有向無(wú)環(huán)圖 61
3.1.2 最大匹配算法 63
3.1.3 算法評(píng)測(cè) 69
3.1.4 由字構(gòu)詞的方法 72
3.2 詞性標(biāo)注 77
3.2.1 詞性標(biāo)注規(guī)范 77
3.2.2 隱馬爾可夫模型詞性標(biāo)注 79
3.3 命名實(shí)體識(shí)別 81
3.4 上下文無(wú)關(guān)文法 82
3.4.1 原理介紹 83
3.4.2 算法淺析 83
3.5 依存關(guān)系分析 84
3.5.1 算法淺析 85
3.5.2 項(xiàng)目實(shí)踐 92
3.5.3 小結(jié) 94
3.6 信息檢索系統(tǒng) 95
3.6.1 什么是信息檢索系統(tǒng) 95
3.6.2 衡量信息檢索系統(tǒng)的關(guān)鍵指標(biāo) 95
3.6.3 理解非結(jié)構(gòu)化數(shù)據(jù) 97
3.6.4 倒排索引 98
3.6.5 處理查詢 100
3.6.6 項(xiàng)目實(shí)踐 102
3.6.7 Elasticsearch 103
3.6.8 小結(jié) 112
3.7 問(wèn)答語(yǔ)料 113
3.7.1 WikiQA 113
3.7.2 中文版保險(xiǎn)行業(yè)語(yǔ)料庫(kù)InsuranceQA 113
3.8 總結(jié) 115
4 深度學(xué)習(xí)初步116
4.1 深度學(xué)習(xí)簡(jiǎn)史 116
4.1.1 感知機(jī) 116
4.1.2 寒冬和復(fù)蘇 117
4.1.3 走出實(shí)驗(yàn)室 118
4.1.4 寒冬再臨 119
4.1.5 走向大規(guī)模實(shí)際應(yīng)用 119
4.2 基本架構(gòu) 120
4.2.1 神經(jīng)元 121
4.2.2 輸入層、隱藏層和輸出層 122
4.2.3 標(biāo)準(zhǔn)符號(hào) 123
4.3 神經(jīng)網(wǎng)絡(luò)是如何學(xué)習(xí)的 124
4.3.1 梯度下降 124
4.3.2 反向傳播理論 127
4.3.3 神經(jīng)網(wǎng)絡(luò)全連接層的實(shí)現(xiàn) 130
4.3.4 使用簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)問(wèn)答任務(wù) 131
4.4 調(diào)整神經(jīng)網(wǎng)絡(luò)超參數(shù) 136
4.4.1 超參數(shù) 136
4.4.2 參考建議 137
4.5 卷積神經(jīng)網(wǎng)絡(luò)與池化 138
4.5.1 簡(jiǎn)介 138
4.5.2 卷積層的前向傳播 139
4.5.3 池化層的前向傳播 141
4.5.4 卷積層的實(shí)現(xiàn) 141
4.5.5 池化層的實(shí)現(xiàn) 145
4.5.6 使用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)問(wèn)答任務(wù) 148
4.6 循環(huán)神經(jīng)網(wǎng)絡(luò)及其變種 149
4.6.1 簡(jiǎn)介 149
4.6.2 循環(huán)神經(jīng)網(wǎng)絡(luò) 149
4.6.3 長(zhǎng)短期記憶單元和門控循環(huán)單元 153
4.6.4 循環(huán)神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn) 156
4.6.5 使用循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)問(wèn)答任務(wù) 159
4.7 簡(jiǎn)易神經(jīng)網(wǎng)絡(luò)工具包 160
5 詞向量實(shí)現(xiàn)及應(yīng)用161
5.1 語(yǔ)言模型 161
5.1.1 評(píng)測(cè) 162
5.1.2 ARPA 格式介紹 162
5.1.3 項(xiàng)目實(shí)踐 163
5.2 One-hot 表示法 164
5.3 詞袋模型 165
5.4 NNLM 和RNNLM 165
5.5 word2vec 168
5.5.1 C-BOW 的原理 169
5.5.2 Skip-gram 的原理 172
5.5.3 計(jì)算效率優(yōu)化 174
5.5.4 項(xiàng)目實(shí)踐 179
5.6 GloVe 189
5.6.1 GloVe 的原理 189
5.6.2 GloVe 與word2vec 的區(qū)別和聯(lián)系 191
5.6.3 項(xiàng)目實(shí)踐 193
5.7 fastText 198
5.7.1 fastText 的原理 198
5.7.2 fastText 與word2vec 的區(qū)別和聯(lián)系 200
5.7.3 項(xiàng)目實(shí)踐 201
5.8 中文近義詞工具包 204
5.8.1 安裝 205
5.8.2 接口 205
5.9 總結(jié) 205
6 社區(qū)問(wèn)答中的QA 匹配206
6.1 社區(qū)問(wèn)答任務(wù)簡(jiǎn)介 206
6.2 孿生網(wǎng)絡(luò)模型 207
6.3 QACNN 模型 207
6.3.1 模型構(gòu)建 207
6.3.2 實(shí)驗(yàn)結(jié)果 214
6.4 Decomposable Attention 模型 214
6.4.1 模型介紹 214
6.4.2 模型構(gòu)建 216
6.5 多比較方式的比較–集成模型 216
6.5.1 模型介紹 216
6.5.2 模型構(gòu)建 218
6.6 BiMPM 模型 219
6.6.1 模型介紹 219
6.6.2 模型構(gòu)建 221
7 機(jī)器閱讀理解222
7.1 完型填空型機(jī)器閱讀理解任務(wù) 222
7.1.1 CNN/Daily Mail 數(shù)據(jù)集 222
7.1.2 Children’s Book Test（CBT）數(shù)據(jù)集 223
7.1.3 GA Reader 模型 226
7.1.4 SA Reader 模型 227
7.1.5 AoA Reader 模型 228
7.2 答案抽取型機(jī)器閱讀理解任務(wù) 230
7.2.1 SQuAD 數(shù)據(jù)集 231
7.2.2 MS MARCO 數(shù)據(jù)集 232
7.2.3 TriviaQA 數(shù)據(jù)集 234
7.2.4 DuReader 數(shù)據(jù)集 235
7.2.5 BiDAF 模型 235
7.2.6 R-Net 模型 237
7.2.7 S-Net 模型 240
7.3 答案選擇型機(jī)器閱讀理解任務(wù) 243
7.4 展望 245
參考文獻(xiàn)246