Web中文輿情信息挖掘

目錄
第1章 Web中文輿情信息挖掘?qū)д?1
1.1 網(wǎng)絡(luò)輿情信息挖掘概述 2
1.2 網(wǎng)絡(luò)輿情研究現(xiàn)狀 3
1.2.1 網(wǎng)絡(luò)輿情的概念、特點(diǎn)與成因 3
1.2.2 網(wǎng)絡(luò)輿情的傳播與導(dǎo)控 4
1.2.3 高校網(wǎng)絡(luò)輿情研究 4
1.3 數(shù)據(jù)挖掘簡(jiǎn)介 5
1.3.1 數(shù)據(jù)挖掘過(guò)程 6
1.3.2 數(shù)據(jù)挖掘功能 7
1.3.3 數(shù)據(jù)挖掘應(yīng)用 8
1.3.4 數(shù)據(jù)挖掘發(fā)展 9
1.4 Web挖掘 10
1.4.1 Web挖掘的分類(lèi) 11
1.4.2 Web挖掘應(yīng)用前景 12
1.5 Web文本挖掘 12
1.5.1 Web文本挖掘技術(shù) 13
1.5.2 Web文本挖掘過(guò)程 14
1.5.3 文本表示和特征抽取 15
1.5.4 Web文檔相似性度量 16
1.5.5 Web文本分類(lèi) 16
1.5.6 Web文本聚類(lèi) 17
1.5.7 Web文本關(guān)聯(lián)規(guī)則挖掘 18
1.6 網(wǎng)絡(luò)輿情信息采集 18
1.6.1 網(wǎng)絡(luò)信息搜索發(fā)展簡(jiǎn)況 18
1.6.2 網(wǎng)絡(luò)信息采集對(duì)象 19
1.6.3 信息采集算法 19
1.6.4 網(wǎng)絡(luò)爬蟲(chóng) 20
1.6.5 信息采集工具 22
1.7 文本分詞 23
第2章 網(wǎng)絡(luò)輿情信息提取 26
2.1 檢索詞選擇 26
2.2 主題詞遴選 27
2.3 網(wǎng)站鏈接過(guò)濾 29
2.3.1 網(wǎng)站鏈接分類(lèi) 29
2.3.2 鏈接提取 30
2.4 基于模板的網(wǎng)頁(yè)正文抽取 30
2.4.1 網(wǎng)頁(yè)抽取預(yù)處理 31
2.4.2 模板學(xué)習(xí) 31
2.4.3 正文提取 32
2.5 正文過(guò)濾 33
2.5.1 基于詞頻統(tǒng)計(jì)的正文過(guò)濾 33
2.5.2 主題知識(shí)自增長(zhǎng)過(guò)濾 33
第3章 中文分詞 37
3.1 漢語(yǔ)分詞基本問(wèn)題 37
3.1.1 分詞規(guī)范問(wèn)題 37
3.1.2 歧義切分問(wèn)題 38
3.1.3 未登錄詞問(wèn)題 39
3.2 漢語(yǔ)分詞方法 42
3.2.1 N*短路徑方法 43
3.2.2 基于詞的n元語(yǔ)法模型的分詞方法 45
3.2.3 由字構(gòu)詞的漢語(yǔ)分詞方法 48
3.2.4 基于詞感知機(jī)算法的漢語(yǔ)分詞方法 49
3.2.5 基于字的生成式模型和區(qū)分式模型相結(jié)合的漢語(yǔ)分詞方法 52
3.2.6 其他分詞方法 54
3.2.7 分詞方法比較 54
3.3 命名實(shí)體識(shí)別 57
3.3.1 方法概述 57
3.3.2 基于CRF的命名實(shí)體識(shí)別方法 59
3.3.3 基于多特征的命名實(shí)體識(shí)別方法 61
3.4 詞性標(biāo)注 68
3.4.1 方法概述 68
3.4.2 基于統(tǒng)計(jì)模型的詞性標(biāo)注方法 69
3.4.3 基于規(guī)則的詞性標(biāo)注方法 73
3.4.4 統(tǒng)計(jì)方法與規(guī)則方法相結(jié)合的詞性標(biāo)注方法 74
3.4.5 詞性標(biāo)注中的生詞處理方法 76
3.5 詞性標(biāo)注的一致性檢查與自動(dòng)校對(duì) 77
3.5.1 詞性標(biāo)注一致性檢查方法 77
3.5.2 詞性標(biāo)注自動(dòng)校對(duì)方法 79
3.6 關(guān)于技術(shù)測(cè)評(píng) 81
第4章 文本語(yǔ)義分析 83
4.1 詞義消歧概述 83
4.2 有監(jiān)督的詞義消歧方法 84
4.2.1 基于互信息的消歧方法 84
4.2.2 基于貝葉斯分類(lèi)器的消歧方法 85
4.2.3 基于*大熵的詞義消歧方法 87
4.3 基于詞典的詞義消歧方法 87
4.3.1 基于詞典語(yǔ)義定義的消歧方法 88
4.3.2 基于義類(lèi)詞典的消歧方法 88
4.3.3 基于雙語(yǔ)詞典的消歧方法 89
4.3.4 Yarowsky算法及其相關(guān)研究 89
4.4 無(wú)監(jiān)督的詞義消歧方法 91
4.5 詞義消歧系統(tǒng)評(píng)價(jià) 92
4.6 語(yǔ)義角色標(biāo)注概述 93
4.7 語(yǔ)義角色標(biāo)注基本方法 94
4.7.1 自動(dòng)語(yǔ)義角色標(biāo)注的基本流程 94
4.7.2 基于短語(yǔ)結(jié)構(gòu)樹(shù)的語(yǔ)義角色標(biāo)注方法 95
4.7.3 基于依存關(guān)系樹(shù)的語(yǔ)義角色標(biāo)注方法 97
4.7.4 基于語(yǔ)塊的語(yǔ)義角色標(biāo)注方法 99
4.7.5 語(yǔ)義角色標(biāo)注的融合方法 100
4.8 語(yǔ)義角色標(biāo)注的領(lǐng)域適應(yīng)性問(wèn)題 102
4.9 雙語(yǔ)聯(lián)合語(yǔ)義角色標(biāo)注方法 105
4.9.1 基本思路 105
4.9.2 系統(tǒng)實(shí)現(xiàn) 106
4.9.3 實(shí)驗(yàn) 109
第5章 文本特征向量表示 114
5.1 基于特征降維的文本特征表示 114
5.2 相關(guān)特征加權(quán)算法 115
5.3 基于類(lèi)別信息的特征加權(quán)算法 118
第6章 聚類(lèi)挖掘 122
6.1 聚類(lèi)挖掘概述 122
6.1.1 主要聚類(lèi)算法 123
6.1.2 聚類(lèi)分析研究方向 125
6.1.3 常用聚類(lèi)策略 126
6.1.4 聚類(lèi)的一般步驟 127
6.2 基本概念 127
6.2.1 類(lèi)的定義 127
6.2.2 樣本間距離、類(lèi)間距離和相關(guān)系數(shù) 128
6.2.3 聚類(lèi)分析中的數(shù)據(jù)類(lèi)型 129
6.3 基于劃分的聚類(lèi)挖掘 130
6.3.1 k-means算法 130
6.3.2 模糊C均值算法 132
6.4 基于層次的聚類(lèi)挖掘 132
6.4.1 BIRCH算法 133
6.4.2 CURE聚類(lèi)算法 134
6.5 基于密度的聚類(lèi)挖掘 135
6.6 基于網(wǎng)格的聚類(lèi)挖掘 136
6.7 基于模型的聚類(lèi)挖掘 137
6.8 高維海量數(shù)據(jù)的聚類(lèi)挖掘 138
6.8.1 高維海量數(shù)據(jù)特點(diǎn) 138
6.8.2 高維海量數(shù)據(jù)聚類(lèi)算法 139
6.9 基于蟻群算法的聚類(lèi)挖掘 145
6.9.1 蟻群算法特征 147
6.9.2 蟻群算法的研究熱點(diǎn) 148
6.9.3 基于蟻穴清理行為的聚類(lèi)算法 150
6.9.4 基于蟻群覓食行為的聚類(lèi)算法 152
6.9.5 粒子群優(yōu)化算法 153
6.9.6 蟻群算法分析 154
6.10 文本特征詞加權(quán) 155
6.11 主成分分析 155
6.12 分析文本聚類(lèi) 156
6.12.1 粒子群密度聚類(lèi) 156
6.12.2 基于模糊矩陣的蟻群聚類(lèi) 157
6.13 本章小結(jié) 160
第7章 文本輿情傾向性分析及發(fā)現(xiàn) 162
7.1 文本傾向性分析 162
7.1.1 詞語(yǔ)語(yǔ)義傾向性判別 162
7.1.2 詞語(yǔ)的上下文傾向性判別 163
7.1.3 段落文本傾向性分析 164
7.2 輿情關(guān)鍵點(diǎn)發(fā)現(xiàn) 165
參考文獻(xiàn) 168
附錄 179