自然語言處理技術經歷了小規(guī)模專家知識（20世紀50年代-90年代）、大規(guī)模語料庫統計模型（20世紀90年代至21世紀初）、大規(guī)模語料庫深度學習（2010-2017年）和大規(guī)模預訓練語言模型（2018年至今）四個階段。預訓練模型的研究和應用是從2013年開始的，標志性事件是2018年10月谷歌的Bert模型的出現，顛覆了NLP領域的研究范式，多數的NLP任務都轉換成在預訓練語言模型上的學習，然后在下游任務中使用微調的模式。特別是2023年初OpenAl公司的ChatGPT的火爆問世，ChatGPT的API已于2023年3月1日公開，而其背后的大規(guī)模語言模型的公開，必將導致包含隱私敏感數據訓練的模型被提取出訓練數據中的隱私敏感信息。差分隱私技術和可解釋性技術可以有效地解決隱私數據泄露和模型不透明的問題。本書先介紹了自然語言和差分隱私的理論基礎，論述當前自然語言模型所面臨的隱私攻擊類型，在此基礎之上根據文本處理粒度和擾動位置的不同，分別介紹單詞層級的差分隱私、Token層級的差分隱私、句子層級的差分隱私、主題層級的差分隱私和基于梯度擾動的差分隱私。 論述自然語言處理模型中相關的可解釋性技術。該書研究成果廣泛適用于多種交叉學科，如社交網絡、情感分析、聊天機器人、城市交通、金融風控等領域，從而發(fā)揮巨大的研究意義和經濟價值。
鄂公網安備 42010302001612號 