Python數(shù)據(jù)分析與可視化

第1章　數(shù)據(jù)分析是什么　1
1．1　數(shù)據(jù)分析與數(shù)據(jù)挖掘的關(guān)系　1
1．2　機器學(xué)習(xí)與數(shù)據(jù)分析的關(guān)系　1
1．3　數(shù)據(jù)分析的基本步驟　2
1．4　Python和數(shù)據(jù)分析　2
1．5　本章小結(jié)　3
第2章　Python——從了解Python開始　4
2．1　Python及pandas、scikit-learn、Matplotlib的安裝　4
2．1．1　Windows操作系統(tǒng)下Python的安裝　4
2．1．2　macOS下Python的安裝　5
2．1．3　pandas、scikit-learn和Matplotlib的安裝　5
2．1．4　使用科學(xué)計算發(fā)行版Python進行快速安裝　5
2．2　Python基礎(chǔ)知識　6
2．2．1　縮進　6
2．2．2　模塊化的系統(tǒng)　7
2．2．3　注釋　7
2．2．4　語法　7
2．3　重要的Python庫　7
2．3．1　pandas　7
2．3．2　scikit-learn　8
2．3．3　Matplotlib　8
2．3．4　其他　8
2．4　Jupyter　9
2．5　本章小結(jié)　9
第3章　數(shù)據(jù)預(yù)處理——不了解數(shù)據(jù)，一切都是空談　10
3．1　了解數(shù)據(jù)　10
3．2　數(shù)據(jù)質(zhì)量　12
3．2．1　完整性　12
3．2．2　一致性　13
3．2．3　準確性　14
3．2．4　及時性　14
3．3　數(shù)據(jù)清洗　14
3．4　特征工程　16
3．4．1　特征選擇　16
3．4．2　特征構(gòu)建　16
3．4．3　特征提取　17
3．5　本章小結(jié)　17
第4章　NumPy——數(shù)據(jù)分析基礎(chǔ)工具　18
4．1　多維數(shù)組對象：ndarray對象　18
4．1．1　ndarray對象的創(chuàng)建　19
4．1．2　ndarray對象的數(shù)據(jù)類型　21
4．2　ndarray對象的索引、切片和迭代　21
4．3　ndarray對象的shape操作　23
4．4　ndarray對象的基礎(chǔ)操作　23
4．5　本章小結(jié)　25
第5章　pandas——處理結(jié)構(gòu)化數(shù)據(jù)　26
5．1　基本數(shù)據(jù)結(jié)構(gòu)　26
5．1．1　Series　26
5．1．2　DataFrame　28
5．2　基于pandas的Index對象的訪問操作　32
5．2．1　pandas的Index對象　33
5．2．2　索引的不同訪問方式　35
5．3　數(shù)學(xué)統(tǒng)計和計算工具　38
5．3．1　統(tǒng)計函數(shù)：協(xié)方差、相關(guān)系數(shù)、排序　38
5．3．2　窗口函數(shù)　40
5．4　數(shù)學(xué)聚合和分組運算　45
5．4．1　agg函數(shù)的聚合操作　47
5．4．2　transform函數(shù)的轉(zhuǎn)換操作　48
5．4．3　apply函數(shù)的一般操作　49
5．5　本章小結(jié)　49
第6章　數(shù)據(jù)分析與知識發(fā)現(xiàn)——一些常用的方法　50
6．1　分類分析　50
6．1．1　邏輯回歸　51
6．1．2　線性判別分析　51
6．1．3　支持向量機　51
6．1．4　決策樹　52
6．1．5　k近鄰　53
6．1．6　樸素貝葉斯　54
6．2　關(guān)聯(lián)分析　54
6．2．1　基本概念　54
6．2．2　經(jīng)典算法　55
6．3　聚類分析　60
6．3．1　k均值算法　60
6．3．2　DBSCAN　61
6．4　回歸分析　62
6．4．1　線性回歸分析　63
6．4．2　支持向量回歸　63
6．4．3　k近鄰回歸　63
6．5　本章小結(jié)　64
第7章　scikit-learn——實現(xiàn)數(shù)據(jù)的分析　65
7．1　分類方法　65
7．1．1　邏輯回歸　65
7．1．2　支持向量機　66
7．1．3　最近鄰　67
7．1．4　決策樹　68
7．1．5　隨機梯度下降　68
7．1．6　高斯過程分類　69
7．1．7　多層感知器　69
7．1．8　樸素貝葉斯　70
7．2　回歸方法　71
7．2．1　最小二乘法　71
7．2．2　嶺回歸　71
7．2．3　Lasso回歸　72
7．2．4　貝葉斯嶺回歸　72
7．2．5　決策樹回歸　73
7．2．6　高斯過程回歸　73
7．2．7　最近鄰回歸　74
7．3　聚類方法　75
7．3．1　k均值　75
7．3．2　相似性傳播　76
7．3．3　均值漂移　76
7．3．4　譜聚類　77
7．3．5　層次聚類　77
7．3．6　DBSCAN　78
7．3．7　BIRCH　79
7．4　本章小結(jié)　80
第8章　Matplotlib——交互式圖表繪制　81
8．1　基本布局對象　81
8．2　圖表樣式的修改以及圖表裝飾項接口　84
8．3　基礎(chǔ)圖表繪制　88
8．3．1　直方圖　88
8．3．2　散點圖　89
8．3．3　餅圖　91
8．3．4　柱狀圖　92
8．3．5　折線圖　95
8．3．6　表格　96
8．3．7　不同坐標(biāo)系下的圖像　97
8．4　matplot3D　98
8．5　Matplotlib與Jupyter結(jié)合　99
8．6　本章小結(jié)　101
第9章　實戰(zhàn)：影評數(shù)據(jù)分析與電影推薦　102
9．1　明確目標(biāo)與數(shù)據(jù)準備　102
9．1．1　明確目標(biāo)　102
9．1．2　數(shù)據(jù)采集與處理　102
9．1．3　工具選擇　103
9．2　初步分析　104
9．2．1　用戶角度分析　104
9．2．2　電影角度分析　107
9．3　電影推薦　110
9．4　本章小結(jié)　111
第10章　實戰(zhàn)：汽車貸款違約的數(shù)據(jù)分析　112
10．1　數(shù)據(jù)分析常用的Python庫　112
10．2　數(shù)據(jù)樣本分析　113
10．2．1　初步分析樣本的所有變量　113
10．2．2　變量類型分析　114
10．2．3　Python代碼實踐　115
10．3　數(shù)據(jù)分析的預(yù)處理　116
10．3．1　目標(biāo)變量探索　116
10．3．2　X變量初步探索　117
10．3．3　連續(xù)變量的缺失值處理　118
10．3．4　分類變量的缺失值處理　120
10．4　數(shù)據(jù)分析的模型建立與模型評估　122
10．4．1　數(shù)據(jù)預(yù)處理與訓(xùn)練集劃分　122
10．4．2　采用回歸模型進行數(shù)據(jù)分析　123
10．4．3　采用決策樹模型進行數(shù)據(jù)分析　125
10．4．4　采用隨機森林模型優(yōu)化決策樹模型　127
10．5　本章小結(jié)　128
第11章　實戰(zhàn)：Python表格數(shù)據(jù)分析　129
11．1　背景介紹　129
11．2　前期準備與基本操作　130
11．2．1　基本術(shù)語概念說明　130
11．2．2　安裝openpyxl并創(chuàng)建一個工作簿　130
11．2．3　從Excel工作簿中讀取數(shù)據(jù)　131
11．2．4　迭代訪問數(shù)據(jù)　133
11．2．5　修改與插入數(shù)據(jù)　135
11．3　進階內(nèi)容　137
11．3．1　為Excel工作簿添加公式　137
11．3．2　為Excel工作簿添加條件格式　139
11．3．3　為Excel工作簿添加圖表　142
11．4　數(shù)據(jù)分析實例　145
11．4．1　背景與前期準備　145
11．4．2　使用openpyxl讀取數(shù)據(jù)并將其轉(zhuǎn)化為Dataframe對象　145
11．4．3　繪制數(shù)值列直方圖　146
11．4．4　繪制相關(guān)性矩陣　147
11．4．5　繪制散布矩陣　149
11．4．6　將可視化結(jié)果插入Excel工作簿中　150
11．5　本章小結(jié)　151
第12章　實戰(zhàn)：利用手機的購物評論分析手機特征　152
12．1　項目介紹　152
12．2　從Kaggle上下載數(shù)據(jù)　152
12．3　篩選想要的數(shù)據(jù)　156
12．4　分析數(shù)據(jù)　159
12．4．1　算法介紹　159
12．4．2　算法應(yīng)用　160
12．5　本章小結(jié)　171
第13章　實戰(zhàn)：基于k近鄰模型預(yù)測葡萄酒種類的數(shù)據(jù)分析與可視化　172
13．1　機器學(xué)習(xí)的模型和數(shù)據(jù)　172
13．2　k近鄰模型的介紹與初步建立　173
13．2．1　k近鄰模型的初步建立　173
13．2．2　使用專業(yè)庫建立k近鄰模型　178
13．2．3　使用scikit-learn　182
13．3　數(shù)據(jù)可視化　183
13．4　本章小結(jié)　185
第14章　實戰(zhàn)：美國波士頓房價預(yù)測　186
14．1　數(shù)據(jù)清洗　187
14．2　數(shù)據(jù)分析　195
14．3　分析結(jié)果　199
14．4　本章小結(jié)　199