神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯技術(shù)及產(chǎn)業(yè)應(yīng)用

第1章 緒論 1
1.1 機(jī)器翻譯發(fā)展簡(jiǎn)介 3
1.2 機(jī)器翻譯代表性方法 6
1.2.1 基于規(guī)則的機(jī)器翻譯 6
1.2.2 統(tǒng)計(jì)機(jī)器翻譯 8
1.2.3 神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯 11
1.3 發(fā)展現(xiàn)狀 13
1.4 產(chǎn)業(yè)應(yīng)用需求特點(diǎn)及挑戰(zhàn) 15
1.4.1 高翻譯質(zhì)量 15
1.4.2 高系統(tǒng)性能 17
1.4.3 多語(yǔ)言翻譯 18
1.4.4 領(lǐng)域自適應(yīng) 19
1.4.5 跨模態(tài)翻譯 20
1.5 本書結(jié)構(gòu) 21
參考文獻(xiàn) 24
第2章 翻譯語(yǔ)料獲取與譯文質(zhì)量評(píng)價(jià) 27
2.1 概述 28
2.2 機(jī)器翻譯語(yǔ)料庫(kù)類型 31
2.2.1 雙語(yǔ)語(yǔ)料庫(kù) 31
2.2.2 單語(yǔ)語(yǔ)料庫(kù) 33
2.3 公開(kāi)語(yǔ)料庫(kù)及系統(tǒng)評(píng)測(cè) 34
2.3.1 語(yǔ)言數(shù)據(jù)聯(lián)盟與NIST評(píng)測(cè) 34
2.3.2 歐洲議會(huì)語(yǔ)料庫(kù)與WMT評(píng)測(cè) 35
2.3.3 語(yǔ)音翻譯語(yǔ)料庫(kù)與IWSLT評(píng)測(cè) 35
2.3.4 中文語(yǔ)言資源聯(lián)盟與CCMT評(píng)測(cè) 36
2.4 從互聯(lián)網(wǎng)獲取機(jī)器翻譯語(yǔ)料 36
2.4.1 互聯(lián)網(wǎng)雙語(yǔ)語(yǔ)料存在形式 37
2.4.2 互聯(lián)網(wǎng)語(yǔ)料常見(jiàn)問(wèn)題 39
2.4.3 雙語(yǔ)語(yǔ)料挖掘與加工 40
2.5 機(jī)器翻譯質(zhì)量評(píng)價(jià) 44
2.5.1 人工評(píng)價(jià) 44
2.5.2 自動(dòng)評(píng)價(jià) 46
2.5.3 面向產(chǎn)業(yè)應(yīng)用的評(píng)價(jià) 53
參考文獻(xiàn) 55
第3章 神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯 57
3.1 概述 59
3.2 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的模型 62
3.2.1 基本模型 63
3.2.2 雙向編碼 65
3.2.3 注意力機(jī)制 66
3.2.4 長(zhǎng)短時(shí)記憶與門控循環(huán)單元 68
3.3 基于卷積神經(jīng)網(wǎng)絡(luò)的翻譯模型 71
3.4 全注意力模型 75
3.4.1 基本思想 76
3.4.2 模型結(jié)構(gòu) 78
3.4.3 性能分析 79
3.5 非自回歸翻譯模型 80
3.6 搭建一個(gè)神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng) 85
3.6.1 環(huán)境準(zhǔn)備 85
3.6.2 模型訓(xùn)練 86
3.6.3 解碼 88
3.6.4 效果評(píng)估 88
參考文獻(xiàn) 89
第4章 高性能機(jī)器翻譯 93
4.1 概述 94
4.2 早期產(chǎn)業(yè)化神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng) 96
4.2.1 百度神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng) 97
4.2.2 谷歌神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng) 101
4.3 Transformer模型優(yōu)化 104
4.3.1 高效Transformer 105
4.3.2 針對(duì)機(jī)器翻譯的優(yōu)化 109
4.4 模型壓縮 112
4.4.1 剪枝 112
4.4.2 量化 115
4.4.3 知識(shí)蒸餾 119
4.5 系統(tǒng)部署 121
4.5.1 分布式系統(tǒng)部署 121
4.5.2 智能硬件設(shè)備 122
4.6 開(kāi)源工具 123
參考文獻(xiàn) 124
第5章 多語(yǔ)言機(jī)器翻譯 131
5.1 概述 133
5.2 數(shù)據(jù)增強(qiáng) 134
5.2.1 基于樞軸語(yǔ)言的合成語(yǔ)料庫(kù)方法 134
5.2.2 回譯技術(shù) 136
5.3 無(wú)監(jiān)督機(jī)器翻譯 138
5.3.1 基本原理 139
5.3.2 跨語(yǔ)言向量映射 140
5.3.3 基于去噪自編碼器和回譯技術(shù)的翻譯模型 142
5.3.4 基于對(duì)偶學(xué)習(xí)的機(jī)器翻譯模型 144
5.4 多語(yǔ)言翻譯統(tǒng)一建模 145
5.4.1 基于多任務(wù)學(xué)習(xí)的翻譯模型 146
5.4.2 基于語(yǔ)言標(biāo)簽的多語(yǔ)言翻譯模型 148
5.5 多語(yǔ)言預(yù)訓(xùn)練 151
5.5.1 預(yù)訓(xùn)練技術(shù)簡(jiǎn)介 152
5.5.2 多語(yǔ)言預(yù)訓(xùn)練模型 158
5.5.3 方法比較 163
5.6 多語(yǔ)言機(jī)器翻譯系統(tǒng) 165
5.6.1 百度多語(yǔ)言機(jī)器翻譯 165
5.6.2 谷歌多語(yǔ)言機(jī)器翻譯 166
5.6.3 臉書多語(yǔ)言機(jī)器翻譯 168
參考文獻(xiàn) 169
第6章 領(lǐng)域自適應(yīng) 177
6.1 概述 179
6.2 領(lǐng)域數(shù)據(jù)增強(qiáng) 180
6.2.1 領(lǐng)域數(shù)據(jù)聚類 180
6.2.2 領(lǐng)域數(shù)據(jù)篩選 182
6.2.3 領(lǐng)域數(shù)據(jù)擴(kuò)充 184
6.3 模型訓(xùn)練及優(yōu)化 184
6.3.1 預(yù)訓(xùn)練加微調(diào)技術(shù) 185
6.3.2 領(lǐng)域數(shù)據(jù)加權(quán)訓(xùn)練 186
6.3.3 模型參數(shù)部分調(diào)優(yōu) 187
6.3.4 基于知識(shí)蒸餾的領(lǐng)域自適應(yīng) 188
6.3.5 基于課程表學(xué)習(xí)的領(lǐng)域自適應(yīng) 189
6.4 專有名詞和術(shù)語(yǔ)的翻譯 190
6.4.1 前處理技術(shù) 191
6.4.2 后處理技術(shù) 193
6.4.3 融合專名/術(shù)語(yǔ)翻譯的解碼算法 193
6.5 翻譯記憶庫(kù) 195
6.5.1 基于記憶庫(kù)的數(shù)據(jù)增強(qiáng) 196
6.5.2 融合記憶庫(kù)的翻譯模型 197
6.5.3 k-近鄰翻譯模型 198
6.6 面向產(chǎn)業(yè)應(yīng)用的領(lǐng)域自適應(yīng)解決方案 199
參考文獻(xiàn) 200
第7章 機(jī)器同聲傳譯 207
7.1 概述 209
7.2 主要挑戰(zhàn) 211
7.2.1 技術(shù)挑戰(zhàn) 211
7.2.2 數(shù)據(jù)挑戰(zhàn) 213
7.2.3 評(píng)價(jià)挑戰(zhàn) 214
7.3 級(jí)聯(lián)同傳模型 216
7.3.1 wait-k模型 216
7.3.2 語(yǔ)義單元驅(qū)動(dòng)的同傳模型 220
7.3.3 基于強(qiáng)化學(xué)習(xí)的同傳模型 224
7.3.4 基于單調(diào)無(wú)限回溯注意力機(jī)制的同傳模型 226
7.4 端到端語(yǔ)音翻譯及同傳模型 228
7.4.1 從級(jí)聯(lián)模型至端到端模型的過(guò)渡 229
7.4.2 基于多任務(wù)學(xué)習(xí)的端到端模型 231
7.4.3 語(yǔ)音識(shí)別與翻譯交互解碼模型 234
7.4.4 端到端同傳模型 236
7.5 同傳模型魯棒性 241
7.5.1 融合音節(jié)信息的翻譯模型 241
7.5.2 語(yǔ)音識(shí)別糾錯(cuò) 242
7.5.3 魯棒性翻譯模型 244
7.6 同傳數(shù)據(jù) 245
7.6.1 歐洲語(yǔ)言同傳語(yǔ)料庫(kù) 246
7.6.2 日英同傳語(yǔ)料庫(kù) 247
7.6.3 中英同傳語(yǔ)料庫(kù) 247
7.7 同傳評(píng)價(jià) 249
7.7.1 基于閱讀理解的翻譯質(zhì)量評(píng)價(jià) 249
7.7.2 基于平均延遲的同傳時(shí)延評(píng)價(jià) 250
7.7.3 綜合翻譯質(zhì)量和同傳時(shí)延的評(píng)價(jià) 252
7.8 機(jī)器同傳系統(tǒng)及產(chǎn)品 252
7.8.1 機(jī)器同傳系統(tǒng) 253
7.8.2 機(jī)器同傳產(chǎn)品形式 254
7.8.3 機(jī)器輔助同傳 254
7.9 搭建一個(gè)機(jī)器同傳系統(tǒng) 256
7.9.1 數(shù)據(jù)準(zhǔn)備 256
7.9.2 訓(xùn)練 257
7.9.3 解碼 257
參考文獻(xiàn) 258
第