基于深度學(xué)習(xí)的自然語(yǔ)言處理

譯者序
前言
第1章　自然語(yǔ)言處理 1
1.1　本章概覽 1
1.2　自然語(yǔ)言處理的基礎(chǔ)知識(shí) 1
1.3　自然語(yǔ)言處理的能力 3
1.4　自然語(yǔ)言處理中的應(yīng)用 4
1.4.1　文本預(yù)處理 5
1.4.2　文本預(yù)處理技術(shù) 6
1.5　詞嵌入 13
1.6　本章小結(jié) 22
第2章　自然語(yǔ)言處理的應(yīng)用 23
2.1　本章概覽 23
2.2　詞性標(biāo)注 24
2.2.1　詞性 24
2.2.2　詞性標(biāo)注器 25
2.3　詞性標(biāo)注的應(yīng)用 27
2.4　分塊 33
2.5　加縫 35
2.6　命名實(shí)體識(shí)別 37
2.6.1　命名實(shí)體 37
2.6.2　命名實(shí)體識(shí)別器 38
2.6.3　命名實(shí)體識(shí)別的應(yīng)用 38
2.6.4　命名實(shí)體識(shí)別器類(lèi)型 39
2.7　本章小結(jié) 43
第3章　神經(jīng)網(wǎng)絡(luò) 44
3.1　本章概覽 44
3.1.1　深度學(xué)習(xí)簡(jiǎn)介 44
3.1.2　機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的比較 45
3.2　神經(jīng)網(wǎng)絡(luò) 46
3.3　訓(xùn)練神經(jīng)網(wǎng)絡(luò) 50
3.3.1　計(jì)算權(quán)重 51
3.3.2　損失函數(shù) 52
3.3.3　梯度下降算法 53
3.3.4　反向傳播 56
3.4　神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)及其應(yīng)用 57
3.4.1　有監(jiān)督神經(jīng)網(wǎng)絡(luò) 57
3.4.2　無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò) 57
3.5　部署模型即服務(wù)的基礎(chǔ) 60
3.6　本章小結(jié) 62
第4章　卷積神經(jīng)網(wǎng)絡(luò) 63
4.1　本章概覽 63
4.2　理解CNN的架構(gòu) 65
4.2.1　特征提取 66
4.2.2　隨機(jī)失活 68
4.2.3　卷積神經(jīng)網(wǎng)絡(luò)的分類(lèi) 69
4.3　訓(xùn)練CNN 71
4.4　CNN的應(yīng)用領(lǐng)域 77
4.5　本章小結(jié) 80
第5章　循環(huán)神經(jīng)網(wǎng)絡(luò) 81
5.1　本章概覽 81
5.2　神經(jīng)網(wǎng)絡(luò)的早期版本 82
5.3　RNN 84
5.3.1　RNN架構(gòu) 87
5.3.2　BPTT 88
5.4　更新和梯度流 90
5.4.1　調(diào)整權(quán)重矩陣Wy 90
5.4.2　調(diào)整權(quán)重矩陣Ws 90
5.4.3　關(guān)于更新Wx 92
5.5　梯度 94
5.5.1　梯度爆炸 94
5.5.2　梯度消失 94
5.5.3　Keras實(shí)現(xiàn)RNN 95
5.5.4　有狀態(tài)與無(wú)狀態(tài) 99
5.6　本章小結(jié) 102
第6章　門(mén)控循環(huán)單元 103
6.1　本章概覽 103
6.2　簡(jiǎn)單RNN的缺點(diǎn) 104
6.3　門(mén)控循環(huán)單元 106
6.3.1　門(mén)的類(lèi)型 108
6.3.2　更新門(mén) 108
6.3.3　重置門(mén) 110
6.3.4　候選激活函數(shù) 111
6.3.5　GRU變體 113
6.4　基于GRU的情感分析 114
6.5　本章小結(jié) 123
第7章　長(zhǎng)短期記憶網(wǎng)絡(luò) 124
7.1　本章概覽 124
7.1.1　LSTM 124
7.1.2　遺忘門(mén) 126
7.2　輸入門(mén)和候選單元狀態(tài) 128
7.3　輸出門(mén)和當(dāng)前激活 132
7.4　神經(jīng)語(yǔ)言翻譯 139
7.5　本章小結(jié) 150
第8章　自然語(yǔ)言處理前沿 151
8.1　本章概覽 151
8.1.1　注意力機(jī)制 152
8.1.2　注意力機(jī)制模型 153
8.1.3　使用注意力機(jī)制的數(shù)據(jù)標(biāo)準(zhǔn)化 154
8.1.4　編碼器 155
8.1.5　解碼器 155
8.1.6　注意力機(jī)制 155
8.1.7　α的計(jì)算 156
8.2　其他架構(gòu)和發(fā)展?fàn)顩r 167
8.2.1　transformer 168
8.2.2　BERT 168
8.2.3　Open AI GPT-2 168
8.3　本章小結(jié) 169
第9章　組織中的實(shí)際NLP項(xiàng)目工作流 170
9.1　本章概覽 170
9.1.1　機(jī)器學(xué)習(xí)產(chǎn)品開(kāi)發(fā)的一般工作流 170
9.1.2　演示工作流 171
9.1.3　研究工作流 171
9.1.4　面向生產(chǎn)的工作流 172
9.2　問(wèn)題定義 173
9.3　數(shù)據(jù)采集 173
9.4　谷歌Colab 174
9.5　Flask 180
9.6　部署 182
9.6.1　對(duì)Flask網(wǎng)絡(luò)應(yīng)用程序進(jìn)行更改 183
9.6.2　使用Docker將Flask網(wǎng)絡(luò)應(yīng)用程序包裝到容器中 183
9.6.3　將容器托管在亞馬遜網(wǎng)絡(luò)服務(wù)EC2實(shí)例上 185
9.6.4　改進(jìn) 190
9.7　本章小結(jié) 190
附錄 191