自然語(yǔ)言處理：原理、方法與應(yīng)用

第1章導(dǎo)論（13min）
1.1基于深度學(xué)習(xí)的自然語(yǔ)言處理
1.2本書(shū)章節(jié)脈絡(luò)
1.3自然語(yǔ)言處理算法流程
1.4小結(jié)
第2章Python開(kāi)發(fā)環(huán)境配置（35min）
2.1Linux服務(wù)器
2.1.1MobaXterm
2.1.2使用MobaXterm連接遠(yuǎn)程服務(wù)器
2.1.3在服務(wù)器上安裝Python開(kāi)發(fā)環(huán)境
2.1.4使用Anaconda國(guó)內(nèi)源
2.1.5pip設(shè)定永久阿里云源
2.2Python虛擬環(huán)境
2.3PyCharm遠(yuǎn)程連接服務(wù)器
2.4screen任務(wù)管理
2.5Docker技術(shù)
2.6小結(jié)
第3章自然語(yǔ)言處理的發(fā)展進(jìn)程
3.1人工規(guī)則與自然語(yǔ)言處理
3.2機(jī)器學(xué)習(xí)與自熱語(yǔ)言處理
3.2.1詞袋模型
3.2.2ngram
3.2.3頻率與逆文檔頻率
3.3深度學(xué)習(xí)與自然語(yǔ)言處理
3.4小結(jié)
第4章無(wú)監(jiān)督學(xué)習(xí)的原理與應(yīng)用（30min）
4.1淺層無(wú)監(jiān)督預(yù)訓(xùn)練模型
4.2深層無(wú)監(jiān)督預(yù)訓(xùn)練模型
4.2.1BERT
4.2.2SelfAttention Layer原理
4.2.3SelfAttention Layer的內(nèi)部運(yùn)算邏輯
4.2.4MultiHead SelfAttention
4.2.5Layer Normalization
4.2.6BERT預(yù)訓(xùn)練
4.2.7BERT的微調(diào)過(guò)程
4.3其他預(yù)訓(xùn)練模型
4.3.1RoBERTa
4.3.2ERNIE
4.3.3BERT_WWM
4.3.4ALBERT
4.3.5Electra
4.3.6NEZHA
4.3.7NLP預(yù)訓(xùn)練模型對(duì)比
4.4自然語(yǔ)言處理四大下游任務(wù)
4.4.1句子對(duì)分類(lèi)任務(wù)
4.4.2單句子分類(lèi)任務(wù)
4.4.3問(wèn)答任務(wù)
4.4.4單句子標(biāo)注任務(wù)
4.5小結(jié)
第5章無(wú)監(jiān)督學(xué)習(xí)進(jìn)階
5.1生成式對(duì)抗網(wǎng)絡(luò)
5.2元學(xué)習(xí)
5.2.1MetricBased Method
5.2.2ModelBased Method
5.2.3PretrainBased Method
5.3小結(jié)
第6章預(yù)訓(xùn)練
6.1賽題任務(wù)
6.2環(huán)境搭建
6.3代碼框架
6.4數(shù)據(jù)分析實(shí)踐
6.4.1數(shù)據(jù)預(yù)處理
6.4.2預(yù)訓(xùn)練任務(wù)模型構(gòu)建與數(shù)據(jù)生成
6.4.3模型訓(xùn)練
6.5小結(jié)
第7章文本分類(lèi)（45min）
7.1數(shù)據(jù)分析
7.2環(huán)境搭建
7.3代碼框架
7.4文本分類(lèi)實(shí)踐
7.4.1數(shù)據(jù)預(yù)處理
7.4.2模型構(gòu)建
7.4.3數(shù)據(jù)迭代器
7.4.4模型訓(xùn)練
7.4.5模型預(yù)測(cè)
7.5小結(jié)
第8章機(jī)器閱讀理解（16min）
8.1機(jī)器閱讀理解的定義
8.1.1完形填空
8.1.2多項(xiàng)選擇
8.1.3片段抽取
8.1.4自由回答
8.1.5其他任務(wù)
8.2評(píng)測(cè)方法
8.3研究方法
8.3.1基于規(guī)則的方法
8.3.2基于神經(jīng)網(wǎng)絡(luò)的方法
8.3.3基于深層語(yǔ)義的圖匹配方法
8.4經(jīng)典結(jié)構(gòu)
8.4.1BiDAF模型
8.4.2QANet模型
8.4.3基于BERT模型的機(jī)器閱讀理解
8.5多文檔機(jī)器閱讀理解實(shí)踐
8.5.1疫情政務(wù)問(wèn)答助手
8.5.2信息檢索
8.5.3多任務(wù)學(xué)習(xí)
8.5.4實(shí)踐
8.6小結(jié)
第9章命名實(shí)體識(shí)別（15min）
9.1NER技術(shù)的發(fā)展現(xiàn)狀
9.2命名實(shí)體識(shí)別的定義
9.3命名實(shí)體識(shí)別模型
9.3.1預(yù)訓(xùn)練模型
9.3.2下接結(jié)構(gòu)
9.3.3條件隨機(jī)場(chǎng)
9.4命名實(shí)體識(shí)別實(shí)驗(yàn)
9.4.1數(shù)據(jù)介紹
9.4.2評(píng)估指標(biāo)
9.4.3數(shù)據(jù)預(yù)處理
9.4.4模型構(gòu)建
9.4.5數(shù)據(jù)迭代器
9.4.6模型訓(xùn)練
9.4.7模型預(yù)測(cè)
9.5小結(jié)
第10章文本生成（26min）
10.1文本生成的發(fā)展現(xiàn)狀
10.1.1文本生成模板
10.1.2變分自編碼器
10.1.3序列到序列技術(shù)
10.2基于預(yù)訓(xùn)練模型的文本生成模型
10.3文本生成任務(wù)實(shí)踐
10.3.1數(shù)據(jù)介紹
10.3.2評(píng)估指標(biāo)
10.3.3模型構(gòu)建
10.3.4數(shù)據(jù)迭代器
10.3.5模型訓(xùn)練
10.3.6模型預(yù)測(cè)
10.4小結(jié)
第11章?lián)p失函數(shù)與模型瘦身
11.1損失函數(shù)
11.2常用的損失函數(shù)
11.2.1回歸
11.2.2分類(lèi)
11.3損失函數(shù)的進(jìn)階
11.3.1樣本不均衡
11.3.2Focal Loss
11.3.3Dice Loss
11.3.4拒識(shí)
11.3.5帶噪學(xué)習(xí)
11.4模型瘦身
11.4.1知識(shí)蒸餾
11.4.2模型剪枝
11.5小結(jié)