自然語言處理原理與應用

部分 理論基礎
第1章 緒論
1.1 基本概念
1.2 自然語言處理的產(chǎn)生與發(fā)展
1.3 基本問題和主要困難
1.3.1 自然語言處理的基本問題
1.3.2 自然語言處理面對的主要困難
1.4 深度學習在自然語言處理中的應用
1.4.1 深度學習概述
1.4.2 面向自然語言處理的深度學習方法
1.4.3 目前深度學習應用存在的局限及展望
1.5 本章小結(jié)
習題1
第2章 數(shù)學基礎
2.1 概率論基礎
2.1.1 樣本空間和概率
2.1.2 隨機變量
2.1.3 條件概率公式、全概率公式和貝葉斯公式
2.1.4 期望和方差
2.2 信息論基礎
2.2.1 自信息和熵
2.2.2 聯(lián)合熵和條件熵
2.2.3 互信息、相對熵和交叉熵
2.2.4 困惑度
2.2.5 噪聲信道模型
2.3 深度學習的數(shù)學基礎
2.3.1 似然估計
2.3.2 梯度分析
2.3.3 梯度下降法
2.3.4 梯度消失和梯度
2.4 本章小結(jié)
習題2
第3章 語言模型
3.1 語言模型概念及基礎理論
3.1.1 n元語法模型
3.1.2 神經(jīng)概率語言模型
3.1.3 預訓練語言模型
3.2 語言模型性能評價
3.2.1 基于信息熵的語言模型復雜度度量
3.2.2 基于困惑度的語言模型復雜度度量
3.2.3 基于語言模型的漢語信息熵估算
3.3 數(shù)據(jù)平滑
3.3.1 問題的提出
3.3.2 加法平滑方法
3.3.3 Good-Turing估計法
3.3.4 Katz平滑方法
3.3.5 Jelinek-Mercer平滑方法
3.3.6 Witten-Bell平滑方法
3.3.7 減值法
3.4 神經(jīng)網(wǎng)絡語言模型