大數(shù)據(jù)挖掘技術(shù)與應(yīng)用

1 緒論     1………………………………………………………………………………  
1.1 大數(shù)據(jù)    1………………………………………………………………………   
1.1.1 大數(shù)據(jù)概念     1……………………………………………………………   
1.1.2 大數(shù)據(jù)特征     4……………………………………………………………  
1.2 云計算與大數(shù)據(jù)挖掘    5………………………………………………………   
1.2.1 云計算     5…………………………………………………………………   
1.2.2 大數(shù)據(jù)挖掘     6……………………………………………………………  
1.3 傳統(tǒng)數(shù)據(jù)挖掘    6………………………………………………………………   
1.3.1 數(shù)據(jù)源與挖掘任務(wù)     7……………………………………………………   
1.3.2 數(shù)據(jù)挖掘方法     7…………………………………………………………   
1.3.3 數(shù)據(jù)挖掘面臨問題     9……………………………………………………  
參考文獻    10…………………………………………………………………………   
2 基于屬性加權(quán)和密度聚類分析     11…………………………………………………  
2.1 聚類分析技術(shù)    11………………………………………………………………   
2.1.1 數(shù)據(jù)基礎(chǔ)     11………………………………………………………………   
2.1.2 聚類分析方法     16…………………………………………………………   
2.1.3 簇的類型     16………………………………………………………………  
2.2 聚類算法    17……………………………………………………………………   
2.2.1 聚類算法分類     17…………………………………………………………   
2.2.2 聚類算法特性     19…………………………………………………………   
2.2.3 選用聚類算法參考因素     20………………………………………………   
2.2.4 聚類算法面臨的挑戰(zhàn)     21…………………………………………………  
2.3 聚類算法改進    23………………………………………………………………   
2.3.1 聚類算法分析     23…………………………………………………………   
2.3.2 數(shù)據(jù)對象屬性加權(quán)     25……………………………………………………
2.3.3 基于屬性加權(quán)K-means算法     27…………………………………………   
2.3.4 實例驗證算法     28…………………………………………………………  
2.4 基于密度與對象方向聚類算法    29……………………………………………   
2.4.1 算法的提出     29……………………………………………………………   
2.4.2 DENCLUE算法     30………………………………………………………   
2.4.3 算法設(shè)計     31………………………………………………………………  
2.5 CABWAD算法實現(xiàn)    36………………………………………………………   
2.5.1 數(shù)據(jù)結(jié)構(gòu)建立     36…………………………………………………………   
2.5.2 數(shù)據(jù)結(jié)構(gòu)上聚類     38………………………………………………………   
2.5.3 時間和空間復(fù)雜度     40……………………………………………………  
2.6 實驗分析    40……………………………………………………………………   
2.6.1 準確度分析     41……………………………………………………………   
2.6.2 可擴展性分析     43…………………………………………………………  
參考文獻    44…………………………………………………………………………   
3 基于密度與密度可達聚類分析     46…………………………………………………  
3.1 CABWAD算法分析    46………………………………………………………   
3.1.1 算法過程分析     46…………………………………………………………   
3.1.2 兩個輸入?yún)?shù)的分析     47…………………………………………………  
3.2 算法設(shè)計與分析    50……………………………………………………………   
3.2.1 相關(guān)定義     50………………………………………………………………   
3.2.2 CADD算法設(shè)計     53………………………………………………………   
3.2.3 算法執(zhí)行過程分析     53……………………………………………………  
3.3 實驗分析    55……………………………………………………………………   
3.3.1 不同分布形態(tài)的簇（纏繞簇）     55………………………………………   
3.3.2 不同密度的簇     56…………………………………………………………   
3.3.3 分布在不同密度噪聲中的變密度簇     57…………………………………   
3.3.4 復(fù)雜形態(tài)簇     58……………………………………………………………   
3.3.5 算法復(fù)雜度分析     59………………………………………………………  
參考文獻    60…………………………………………………………………………   
4 動態(tài)增量聚類分析     62……………………………………………………………… 
 4.1 算法提出    62……………………………………………………………………
4.1.1 增量聚類算法     62…………………………………………………………   
4.1.2 CADD算法分析     64………………………………………………………   
4.1.3 抽樣技術(shù)     66………………………………………………………………  
4.2 基于密度可達的動態(tài)增量聚類算法    67………………………………………   
4.2.1 算法設(shè)計     67………………………………………………………………   
4.2.2 算法實現(xiàn)     69………………………………………………………………   
4.2.3 算法復(fù)雜度分析     69………………………………………………………  
4.3 基于子簇特征的增量聚類算法    70……………………………………………   
4.3.1 相關(guān)定義     70………………………………………………………………   
4.3.2 算法設(shè)計     72………………………………………………………………   
4.3.3 算法實現(xiàn)     72………………………………………………………………  
4.4 實驗分析    73……………………………………………………………………   
4.4.1 仿真動態(tài)增量聚類     73……………………………………………………   
4.4.2 算法對比分析     77…………………………………………………………  
參考文獻    78…………………………………………………………………………   
5 并行聚類分析     80……………………………………………………………………  
5.1 并行計算技術(shù)    80………………………………………………………………   
5.1.1 并行計算定義     81…………………………………………………………  
 5.1.2 并行計算分類     81…………………………………………………………   
5.1.3 并行計算模型和體系結(jié)構(gòu)     82……………………………………………   
5.1.4 并行數(shù)據(jù)挖掘     85…………………………………………………………   
5.1.5 并行聚類分析     86…………………………………………………………  
5.2 并行聚類算法設(shè)計與實現(xiàn)    88…………………………………………………   
5.2.1 算法總體流程     88…………………………………………………………   
5.2.2 數(shù)據(jù)并行聚類算法     89……………………………………………………   
5.2.3 數(shù)據(jù)并行和任務(wù)并行聚類算法     90………………………………………  
5.3 實驗分析    92……………………………………………………………………   
5.3.1 算法有效性分析     92………………………………………………………   
5.3.2 算法加速比分析     92………………………………………………………   
5.3.3 算法時間復(fù)雜度分析     93…………………………………………………  
 5.3.4 PCADD與CADD算法執(zhí)行時間對比     93………………………………  
參考文獻    94…………………………………………………………………………
6 高維多類型屬性數(shù)據(jù)對象聚類分析     95……………………………………………  
6.1 高維多類型屬性數(shù)據(jù)對象    95…………………………………………………   
6.1.1 高維數(shù)據(jù)處理     95…………………………………………………………   
6.1.2 多類型屬性處理     96………………………………………………………   
6.1.3 高維數(shù)據(jù)對象聚類     96……………………………………………………  
 6.1.4 多類型屬性數(shù)據(jù)對象聚類     98……………………………………………  
6.2 維度對聚類算法精度影響    99…………………………………………………   
6.2.1 高維數(shù)據(jù)聚類     99…………………………………………………………   
6.2.2 數(shù)據(jù)集與相關(guān)定義     99……………………………………………………   
6.2.3 實驗結(jié)果及分析     100……………………………………………………  
6.3 多類型屬性數(shù)據(jù)聚類分析    103………………………………………………   
6.3.1 處理多類型數(shù)據(jù)方法     103………………………………………………   
6.3.2 聚類效果度量標準     103…………………………………………………   
6.3.3 實驗結(jié)果及分析     104……………………………………………………  
6.4 基于屬性加權(quán)的高維數(shù)據(jù)聚類    108…………………………………………   
6.4.1 屬性加權(quán)CADD算法     108………………………………………………   
6.4.2 實驗結(jié)果及分析     109……………………………………………………  
參考文獻    113…………………………………………………………………………   
7 基于密度加權(quán)模糊聚類分析     115…………………………………………………  
7.1 模糊聚類分析    115……………………………………………………………   
7.1.1 模糊聚類產(chǎn)生     115………………………………………………………   
7.1.2 模糊聚類分類     116………………………………………………………   
7.1.3 模糊聚類算法優(yōu)化     117…………………………………………………  
7.2 模糊聚類算法    118……………………………………………………………   
7.2.1 模糊簇     118………………………………………………………………   
7.2.2 HC-means聚類算法     118…………………………………………………  
 7.2.3 FC-means聚類算法     119…………………………………………………  
 7.2.4 HCM和FCM的關(guān)系     120………………………………………………   
7.2.5 FCM算法存在問題分析     121……………………………………………  
7.3 基于密度函數(shù)加權(quán)的FCM    122………………………………………………   
7.3.1 聚類算法提出     122………………………………………………………   
7.3.2 聚類算法設(shè)計     123………………………………………………………
7.3.3 實驗結(jié)果及分析     124……………………………………………………  
參考文獻    132…………………………………………………………………………   
8 基于距離量化關(guān)聯(lián)規(guī)則挖掘     135…………………………………………………  
8.1 關(guān)聯(lián)規(guī)則挖掘    135……………………………………………………………   
8.1.1 關(guān)聯(lián)規(guī)則相關(guān)概念     135…………………………………………………   
8.1.2 關(guān)聯(lián)規(guī)則度量     137………………………………………………………   
8.1.3 關(guān)聯(lián)規(guī)則分類     138………………………………………………………   
8.1.4 關(guān)聯(lián)規(guī)則挖掘模型與步驟     139…………………………………………  
8.2 量化關(guān)聯(lián)規(guī)則    140……………………………………………………………   
8.2.1 量化關(guān)聯(lián)規(guī)則提出     140…………………………………………………   
8.2.2 量化關(guān)聯(lián)規(guī)則定義     143…………………………………………………   
8.2.3 算法描述     145……………………………………………………………   
8.2.4 算法分析     146……………………………………………………………  
8.3 基于距離算法設(shè)計與實現(xiàn)    148………………………………………………  
 8.3.1 算法設(shè)計     148……………………………………………………………   
8.3.2 數(shù)據(jù)預(yù)處理     149…………………………………………………………   
8.3.3 基于距離量化規(guī)則     150…………………………………………………   
8.3.4 簇間關(guān)聯(lián)度的度量     150…………………………………………………   
8.3.5 關(guān)聯(lián)度參數(shù) D    0   限定     151…………………………………………………   
8.3.6 規(guī)則的生成     153…………………………………………………………  
8.4 算法實驗分析    153……………………………………………………………   
8.4.1 系統(tǒng)交互界面     153………………………………………………………   
8.4.2 地球化學數(shù)據(jù)分析     154…………………………………………………   
8.4.3 臨床醫(yī)學調(diào)查數(shù)據(jù)     156…………………………………………………  
參考文獻    156…………………………………………………………………………   
9 基于數(shù)據(jù)場的數(shù)據(jù)挖掘技術(shù)     158…………………………………………………  
9.1 數(shù)據(jù)場    158……………………………………………………………………   
9.1.1 數(shù)據(jù)場的概念     158………………………………………………………   
9.1.2 數(shù)據(jù)場主要特征     159……………………………………………………   
9.1.3 數(shù)據(jù)場表達     159…………………………………………………………  
9.2 數(shù)據(jù)場聚類算法    161…………………………………………………………
9.2.1 數(shù)據(jù)場聚類算法設(shè)計     161………………………………………………   
9.2.2 測試數(shù)據(jù)集產(chǎn)生     162……………………………………………………   
9.2.3 位場聚類實驗     162………………………………………………………   
9.2.4 輻射場聚類實驗     163……………………………………………………   
9.2.5 參數(shù)對數(shù)據(jù)場聚類效果影響     164………………………………………  
9.3 聚類效果實驗分析    166………………………………………………………   
9.3.1 模擬數(shù)據(jù)分析     166………………………………………………………   
9.3.2 UCI數(shù)據(jù)集實驗     168……………………………………………………  
9.4 基于數(shù)據(jù)場量化關(guān)聯(lián)規(guī)則挖掘    172…………………………………………   
9.4.1 常用量化關(guān)聯(lián)規(guī)則挖掘方法     172………………………………………   
9.4.2 算法相關(guān)定義     173………………………………………………………   
9.4.3 算法設(shè)計與實現(xiàn)     175……………………………………………………  
9.5 關(guān)聯(lián)規(guī)則挖掘?qū)嶒炁c分析    176………………………………………………   
9.5.1 身體脂肪bodyfat數(shù)據(jù)集     176……………………………………………   
9.5.2 臨床醫(yī)學數(shù)據(jù)實驗測試     178……………………………………………  
參考文獻    179…………………………………………………………………………   
10 基于MapReduce聚類分析     181…………………………………………………… 
 10.1 Hadoop開源云計算平臺    181………………………………………………   
10.1.1 MapReduce     181…………………………………………………………   
10.1.2 HDFS文件系統(tǒng)     183……………………………………………………  
 10.1.3 基于MapReduce聚類算法     184…………………………………………  
10.2 基于MapReduce K-means算法改進    186……………………………………   
10.2.1 距離三角不等式聚類算法     186…………………………………………   
10.2.2 距離三角不等式算法設(shè)計     187…………………………………………   
10.2.3 聚類算法實驗結(jié)果分析     189……………………………………………  
10.3 基于MapReduce CADD聚類算法    191………………………………………   
10.3.1 算法設(shè)計     191……………………………………………………………   
10.3.2 MapReduce聚類模型     192………………………………………………   
10.3.3 聚類算法實驗結(jié)果分析     193……………………………………………  
參考文獻    195…………………………………………………………………………
11 數(shù)據(jù)挖掘結(jié)果可視化表達     196…………………………………………………… 
 11.1 可視化數(shù)據(jù)挖掘    196…………………………………………………………   
11.1.1 數(shù)據(jù)可視化     197…………………………………………………………   
11.1.2 數(shù)據(jù)挖掘過程可視化     198………………………………………………   
11.1.3 數(shù)據(jù)挖掘結(jié)果可視化     198………………………………………………   
11.1.4 交互式可視化數(shù)據(jù)挖掘     199……………………………………………  
11.2 數(shù)據(jù)可視化方法及分類    200…………………………………………………   
11.2.1 基于幾何的技術(shù)     200……………………………………………………   
11.2.2 面向像素的技術(shù)     202……………………………………………………   
11.2.3 基于圖標的技術(shù)     202……………………………………………………   
11.2.4 基于層次的技術(shù)     203……………………………………………………  
11.3 可視化數(shù)據(jù)挖掘系統(tǒng)設(shè)計與實現(xiàn)    204………………………………………   
11.3.1 可視化挖掘系統(tǒng)     204……………………………………………………   
11.3.2 聚類結(jié)果可視化     205……………………………………………………  
 11.3.3 關(guān)聯(lián)規(guī)則結(jié)果可視化     208………………………………………………  
參考文獻    212…………………………………………………………………………   
12 地球化學數(shù)據(jù)挖掘（Ⅰ）     214……………………………………………………  
12.1 地球化學數(shù)據(jù)處理方法    214…………………………………………………   
12.1.1 傳統(tǒng)處理方法     214………………………………………………………   
12.1.2 數(shù)據(jù)挖掘方法     215………………………………………………………  
12.2 地球化學數(shù)據(jù)聚類分析    217…………………………………………………   
12.2.1 地球化學數(shù)據(jù)來源     217…………………………………………………   
12.2.2 區(qū)域地質(zhì)概況     217………………………………………………………   
12.2.3 聚類分析研究     221………………………………………………………   
12.2.4 靶區(qū)地球化學特征     222…………………………………………………  
12.3 區(qū)域礦產(chǎn)資源預(yù)測    225………………………………………………………   
12.3.1 地球化學異常靶區(qū)     225…………………………………………………   
12.3.2 元素組合特征分析     226…………………………………………………   
12.3.3 區(qū)域礦產(chǎn)資源預(yù)測     232…………………………………………………  
參考文獻    234…………………………………………………………………………
13 地球化學數(shù)據(jù)挖掘（Ⅱ）     236……………………………………………………  
13.1 區(qū)域地質(zhì)形貌    236……………………………………………………………   
13.1.1 自然地理環(huán)境     236………………………………………………………   
13.1.2 區(qū)域地質(zhì)概況     236………………………………………………………  
13.2 地球化學元素聚類分析    239…………………………………………………   
13.2.1 數(shù)據(jù)整理和建立數(shù)據(jù)庫     239……………………………………………   
13.2.2 地球化學數(shù)據(jù)聚類分析     239……………………………………………   
13.2.3 聚類結(jié)果MapGIS成圖     241……………………………………………  
13.3 地球化學元素組合特征分析    243……………………………………………   
13.3.1 靶區(qū)1～4元素組合特征     243…………………………………………   
13.3.2 靶區(qū)5元素組合特征     243………………………………………………   
13.3.3 礦產(chǎn)資源預(yù)測     244………………………………………………………  
13.4 地球化學元素模糊C-means聚類    247………………………………………   
13.4.1 某金礦區(qū)模糊C-means聚類分析     247…………………………………   
13.4.2 某錫礦區(qū)模糊C-means聚類分析     248…………………………………   
13.4.3 某采樣地區(qū)模糊C-means聚類分析     249………………………………  
參考文獻    250…………………………………………………………………………   
14 資源與經(jīng)濟發(fā)展關(guān)系分析     252……………………………………………………  
14.1 資源與經(jīng)濟    252………………………………………………………………   
14.1.1 礦產(chǎn)資源開發(fā)     252………………………………………………………   
14.1.2 傳統(tǒng)研究方法     253………………………………………………………  
14.2 數(shù)據(jù)源與數(shù)據(jù)預(yù)處理    256……………………………………………………   
14.2.1 數(shù)據(jù)的選取     256…………………………………………………………   
14.2.2 數(shù)據(jù)標準化     257…………………………………………………………  
14.3 聚類分析    258…………………………………………………………………   
14.3.1 資源儲量屬性     258………………………………………………………   
14.3.2 環(huán)境指標屬性     260………………………………………………………   
14.3.3 經(jīng)濟指標屬性     262………………………………………………………   
14.3.4 技術(shù)指標屬性     275………………………………………………………   
14.3.5 結(jié)論與建議     278…………………………………………………………  
參考文獻    280…………………………………………………………………………