藏語(yǔ)自然語(yǔ)言處理基本理論和方法

目錄
《信息科學(xué)技術(shù)學(xué)術(shù)著作叢書(shū)》序
前言
第1章 藏語(yǔ)語(yǔ)法單位 1
1.1 藏文字符 1
1.2 藏文字 2
1.2.1 藏文字結(jié)構(gòu) 2
1.2.2 藏文的書(shū)寫(xiě)及字體 3
1.3 藏語(yǔ)詞語(yǔ) 3
1.3.1 格助詞 4
1.3.2 不自由虛詞 7
1.3.3 自由虛詞 10
1.3.4 動(dòng)詞概述 12
1.4 藏語(yǔ)短語(yǔ) 13
1.5 藏語(yǔ)句子 14
1.5.1 藏語(yǔ)句子的特點(diǎn) 14
1.5.2 藏語(yǔ)句子的分類 14
第2章 理論基礎(chǔ) 17
2.1 集合論基礎(chǔ) 17
2.1.1 集合 17
2.1.2 字符串 18
2.1.3 函數(shù) 20
2.1.4 圖 20
2.2 概率論基礎(chǔ) 22
2.2.1 概率 22
2.2.2 似然估計(jì) 23
2.2.3 條件概率 24
2.2.4 全概率公式與貝葉斯公式 24
2.2.5 獨(dú)立性 26
2.2.6 隨機(jī)變量 26
2.2.7 聯(lián)合概率分布和條件概率分布 27
2.2.8 貝葉斯決策理論 28
2.2.9 期望和方差 29
2.3 信息論基礎(chǔ) 30
2.3.1 信息熵 30
2.3.2 信息熵的性質(zhì) 32
2.3.3 聯(lián)合熵和條件熵 34
2.3.4 相對(duì)熵 35
2.3.5 互信息 35
2.3.6 交叉熵 36
2.3.7 困惑度 37
2.3.8 噪聲信道 37
2.4 齊普夫定律 39
2.5 隱馬爾可夫模型 41
2.5.1 馬爾可夫模型 41
2.5.2 隱馬爾可夫模型的基本原理 42
2.5.3 隱馬爾可夫模型的三個(gè)基本問(wèn)題 44
2.6 熵模型 56
2.6.1 熵模型的約束條件 57
2.6.2 熵模型的原則 58
2.6.3 熵模型的參數(shù)訓(xùn)練 58
2.7 條件隨機(jī)場(chǎng)模型 59
2.7.1 條件隨機(jī)場(chǎng)定義 60
2.7.2 條件隨機(jī)場(chǎng)模型形式 61
2.7.3 條件隨機(jī)場(chǎng)模型的參數(shù)估計(jì) 62
第3章 形式語(yǔ)言與自動(dòng)機(jī) 64
3.1 形式語(yǔ)言 64
3.1.1 形式語(yǔ)言概述 64
3.1.2 形式文法 65
3.1.3 形式文法的類型 66
3.2 自動(dòng)機(jī) 68
3.2.1 自動(dòng)機(jī)概述 68
3.2.2 正規(guī)文法與自動(dòng)機(jī) 72
第4章 字符編碼 75
4.1 西文字符編碼 75
4.2 ISO/IEC 10646與Unicode 76
4.2.1 緣起 76
4.2.2 ISO/IEC 10646體系結(jié)構(gòu) 76
4.2.3 Unicode 79
4.3 中文字符編碼 81
4.3.1 漢字字符編碼 81
4.3.2 藏文字符編碼 85
第5章 藏語(yǔ)語(yǔ)料庫(kù)的建設(shè) 91
5.1 語(yǔ)料庫(kù)概述 91
5.2 語(yǔ)料庫(kù)的類型 91
5.3 典型語(yǔ)料庫(kù) 93
5.4 藏語(yǔ)語(yǔ)料庫(kù)建設(shè)中存在的問(wèn)題 96
第6章 藏文信息熵 99
6.1 概述 99
6.2 藏文字符的信息熵 100
6.3 藏文字的信息熵 102
6.4 藏語(yǔ)語(yǔ)言模型及其困惑度 105
6.4.1 N元文法模型 105
6.4.2 困惑度 107
6.4.3 數(shù)據(jù)平滑 109
6.5 藏文輸入法的數(shù)學(xué)模型 111
6.6 藏文文本自動(dòng)校對(duì) 115
第7章 藏文拼寫(xiě)文法的形式化 118
7.1 藏文拼寫(xiě)文法形式化描述 118
7.1.1 術(shù)語(yǔ)定義 118
7.1.2 符號(hào)映射 119
7.1.3 藏文拼寫(xiě)文法規(guī)則 120
7.1.4 藏文的基本拼寫(xiě)結(jié)構(gòu) 122
7.1.5 藏文拼寫(xiě)文法形式化描述 127
7.1.6 藏文拼寫(xiě)文法性質(zhì) 131
7.2 藏文拼寫(xiě)形式語(yǔ)言 133
7.2.1 藏文拼寫(xiě)形式語(yǔ)言概述 133
7.2.2 藏文拼寫(xiě)形式文法 135
7.3 藏文字組成成分識(shí)別 186
7.3.1 藏文字組成成分的識(shí)別概述 186
7.3.2 藏文拼寫(xiě)形式文法使用中的二義性問(wèn)題 188
第8章 藏語(yǔ)自動(dòng)分詞及詞性和語(yǔ)義標(biāo)注 190
8.1 藏語(yǔ)自動(dòng)分詞中的幾個(gè)關(guān)鍵問(wèn)題 190
8.1.1 緊縮詞問(wèn)題 190
8.1.2 歧義切分問(wèn)題 193
8.1.3 未登錄詞問(wèn)題 195
8.2 藏語(yǔ)自動(dòng)分詞方法 197
8.2.1 基于規(guī)則的分詞方法 197
8.2.2 基于統(tǒng)計(jì)的分詞方法 198
8.2.3 基于條件隨機(jī)場(chǎng)模型的藏語(yǔ)分詞方法 199
8.3 命名實(shí)體識(shí)別 206
8.3.1 概述 206
8.3.2 命名實(shí)體識(shí)別方法 207
8.4 詞性標(biāo)注 209
8.4.1 概述 209
8.4.2 詞類標(biāo)記集的確定 211
8.4.3 基于規(guī)則的詞性標(biāo)注方法 215
8.4.4 基于統(tǒng)計(jì)模型的詞性標(biāo)注方法 217
8.4.5 基于規(guī)則與統(tǒng)計(jì)相結(jié)合的詞性標(biāo)注方法 219
8.5 詞義標(biāo)注 221
8.5.1 概述 221
8.5.2 基于互信息的詞義消歧方法 221
8.5.3 基于貝葉斯判別的詞義消歧方法 223
8.5.4 基于詞典的詞義消歧方法 224
第9章 現(xiàn)代藏語(yǔ)短語(yǔ)結(jié)構(gòu)及其形式化描述 225
9.1 概述 225
9.1.1 藏語(yǔ)短語(yǔ)的句法知識(shí)理論 225
9.1.2 藏語(yǔ)短語(yǔ)的句法功能分類 226
9.1.3 藏語(yǔ)短語(yǔ)規(guī)則的形式表達(dá) 229
9.2 名詞性短語(yǔ)結(jié)構(gòu)及其形式化描述 231
9.2.1 概述 231 9.2.2 定中結(jié)構(gòu)的NP 232
9.2.3 聯(lián)合結(jié)構(gòu)的NP 240
9.3 動(dòng)詞性短語(yǔ)結(jié)構(gòu)及其形式化描述 241
9.3.1 概述 241
9.3.2 主謂結(jié)構(gòu)的VP 242
9.3.3 述賓結(jié)構(gòu)的VP 244
9.3.4 述補(bǔ)結(jié)構(gòu)的VP 246
9.3.5 動(dòng)詞聯(lián)合的VP 250
9.3.6 狀中結(jié)構(gòu)的VP 251
9.4 形容詞性短語(yǔ)結(jié)構(gòu)及其形式化描述 252
9.4.1 概述 252
9.4.2 聯(lián)合結(jié)構(gòu)的AP 252
9.4.3 狀中結(jié)構(gòu)的AP 255
第10章 藏語(yǔ)句法分析 258
10.1 藏語(yǔ)句型概述 258
10.1.1 NP+PP+VP句型 258
10.1.2 NP+VP句型 259
10.2 短語(yǔ)結(jié)構(gòu)語(yǔ)法 260
10.2.1 形式語(yǔ)法 260
10.2.2 CFG句法分析 264
10.3 藏語(yǔ)CFG 句法分析 265
10.3.1 LR分析算法 265
10.3.2 句法樹(shù) 273
10.4 依存語(yǔ)法 275
10.4.1 概述 275
10.4.2 依存句法分析方法 277
10.5 藏語(yǔ)依存句法分析 281
10.5.1 概述 281
10.5.2 藏語(yǔ)依存關(guān)系體系 282
10.5.3 確定性藏語(yǔ)依存句法分析 286
第11章 統(tǒng)計(jì)機(jī)器翻譯原理 288
11.1 機(jī)器翻譯概述 288
11.1.1 機(jī)器翻譯技術(shù)的發(fā)展 288
11.1.2 機(jī)器翻譯方法 289
11.2 統(tǒng)計(jì)機(jī)器翻譯 291
11.3 基于噪聲信道模型的統(tǒng)計(jì)機(jī)器翻譯基本原理 291
11.4 統(tǒng)計(jì)語(yǔ)言模型 293
11.5 統(tǒng)計(jì)翻譯模型 296
11.5.1 共現(xiàn) 296
11.5.2 對(duì)齊 297
11.5.3 IBM模型1 300
11.5.4 學(xué)習(xí)詞匯翻譯模型 301
11.5.5 其他更高級(jí)的IBM模型 304
參考文獻(xiàn) 305