Python數(shù)據(jù)可視化方法、實(shí)踐與應(yīng)用

第1章  數(shù)據(jù)采集 1
1.1  處理網(wǎng)絡(luò)數(shù)據(jù) 2
1.1.1  解析HTML和XML數(shù)據(jù) 2
1.1.2  處理HTTP 數(shù)據(jù) 11
1.1.3  處理URL 數(shù)據(jù) 17
1.2  網(wǎng)絡(luò)爬蟲技術(shù) 21
1.2.1  網(wǎng)絡(luò)爬蟲基礎(chǔ) 21
1.2.2  使用Beautiful Soup爬取網(wǎng)絡(luò)數(shù)據(jù) 22
1.2.3  使用XPath爬取網(wǎng)絡(luò)數(shù)據(jù) 24
1.2.4  爬取體育新聞信息并保存到XML文件 26
1.2.5  爬取XX百科 29
1.3  使用專業(yè)爬蟲庫Scrapy 32
1.3.1  Scrapy框架基礎(chǔ) 33
1.3.2  搭建Scrapy環(huán)境 34
1.3.3  創(chuàng)建個(gè)Scrapy項(xiàng)目 34
1.3.4  爬取某電影網(wǎng)的熱門電影信息 38
1.3.5  爬取某網(wǎng)站中的照片并保存到本地 42
1.3.6  爬取某網(wǎng)站中的主播照片并保存到本地 43
第2章  使用數(shù)據(jù)庫保存數(shù)據(jù) 45
2.1  操作SQLite 3數(shù)據(jù)庫 46
2.1.1  sqlite3模塊介紹 46
2.1.2  使用sqlite3模塊操作SQLite 3數(shù)據(jù)庫 53
2.1.3  SQLite和Python的類型 56
2.2  操作MySQL數(shù)據(jù)庫 60
2.2.1  搭建PyMySQL環(huán)境 61
2.2.2  實(shí)現(xiàn)數(shù)據(jù)庫連接 62
2.2.3  創(chuàng)建數(shù)據(jù)庫表 62
2.3  使用MariaDB數(shù)據(jù)庫 63
2.3.1  搭建MariaDB數(shù)據(jù)庫環(huán)境 63
2.3.2  在Python程序中使用MariaDB數(shù)據(jù)庫 66
2.3.3  使用MariaDB創(chuàng)建MySQL數(shù)據(jù)庫 68
2.4  使用MongoDB數(shù)據(jù)庫 71
2.4.1  搭建MongoDB環(huán)境 71
2.4.2  在Python程序中使用MongoDB數(shù)據(jù)庫 72
2.5  使用ORM(對象關(guān)系映射)操作數(shù)據(jù)庫 75
2.5.1  Python和ORM 75
2.5.2  使用SQLAlchemy 76
2.5.3  使用mongoengine 80
第3章  繪制散點(diǎn)圖和折線圖 83
3.1  繪制散點(diǎn)圖 84
3.1.1  繪制一個(gè)簡單的點(diǎn) 84
3.1.2  添加標(biāo)題和標(biāo)簽 84
3.1.3  繪制10個(gè)點(diǎn) 85
3.1.4  修改散點(diǎn)的大小 86
3.1.5  設(shè)置散點(diǎn)的顏色和透明度 87
3.1.6  修改散點(diǎn)的形狀 87
3.1.7  繪制兩組數(shù)據(jù)的散點(diǎn)圖 88
3.1.8  為散點(diǎn)圖設(shè)置圖例 89
3.1.9  自定義散點(diǎn)圖樣式 89
3.1.10  使用pygal繪制散點(diǎn)圖 91
3.2  繪制折線圖 92
3.2.1  繪制簡單的折線 92
3.2.2  設(shè)置標(biāo)簽文字和線條粗細(xì) 93
3.2.3  繪制1000個(gè)點(diǎn)組成折線圖 94
3.2.4  繪制漸變色的折線圖 95
3.2.5  繪制多幅子圖 96
3.2.6  繪制正弦函數(shù)和余弦函數(shù)曲線 97
3.2.7  繪制3條不同的折線 100
3.2.8  繪制瀏覽器市場占有率變化折線圖 101
3.2.9  繪制XY線圖 102
3.2.10  繪制水平樣式的瀏覽器市場占有率變化折線圖 103
3.2.11  繪制疊加折線圖 104
3.2.12  繪制某網(wǎng)站用戶訪問量折線圖 105
3.3  繪制其他類型的散點(diǎn)圖和折線圖 106
3.3.1  繪制隨機(jī)漫步圖 106
3.3.2  大數(shù)據(jù)可視化分析某地的天氣情況 110
3.3.3  在Tkinter中使用Matplotlib繪制圖表 113
3.3.4  繪制包含點(diǎn)、曲線、注釋和箭頭的統(tǒng)計(jì)圖 115
3.3.5  在兩棟房子之間繪制箭頭指示符 117
3.3.6  根據(jù)坐標(biāo)繪制行走路線圖 118
3.3.7  繪制方程式曲線圖 120
3.3.8  繪制星空圖 122
3.4  繪制BTC(比特幣)和ETH(以太幣)的價(jià)格走勢圖 122
3.4.1  抓取數(shù)據(jù) 122
3.4.2  繪制BTC/美元價(jià)格曲線 123
3.4.3  繪制BTC和ETH的歷史價(jià)格曲線圖 124
3.5  Flask pygal SQLite實(shí)現(xiàn)數(shù)據(jù)分析 125
3.5.1  創(chuàng)建數(shù)據(jù)庫 125
3.5.2  繪制統(tǒng)計(jì)圖 126
第4章  繪制柱狀圖 129
4.1  繪制基本的柱狀圖 130
4.1.1  繪制只有一個(gè)柱子的柱狀圖 130
4.1.2  繪制有兩個(gè)柱子的柱狀圖 130
4.1.3  設(shè)置柱狀圖的標(biāo)簽 132
4.1.4  設(shè)置柱狀圖的顏色 135
4.1.5  繪制堆疊柱狀圖 136
4.1.6  繪制并列柱狀圖 137
4.1.7  繪制2002—2013年網(wǎng)頁瀏覽器使用變化柱狀圖 138
4.1.8  繪制直方圖 139
4.1.9  繪制橫向柱狀圖 140
4.1.10  繪制有圖例橫向柱狀圖 141
4.1.11  繪制分組柱狀圖 142
4.1.12  模擬電影票房柱狀圖 144
4.1.13  繪制正負(fù)柱狀圖 145
4.1.14  繪制不同商品銷量的統(tǒng)計(jì) 柱狀圖 145
4.2  可視化分析擲骰子游戲的結(jié)果次數(shù) 146
4.2.1  使用庫pygal實(shí)現(xiàn)模擬擲骰子功能 147
4.2.2  同時(shí)擲兩個(gè)骰子 148
4.3  可視化分析受歡迎的開源項(xiàng)目 150
4.3.1  統(tǒng)計(jì)前30名受歡迎的Python庫 150
4.3.2  使用pygal實(shí)現(xiàn)數(shù)據(jù)可視化 152
4.4  可視化統(tǒng)計(jì)顯示某網(wǎng)店各類口罩的銷量 154
4.4.1  準(zhǔn)備CSV文件 154
4.4.2  可視化CSV文件中的數(shù)據(jù) 155
4.5  數(shù)據(jù)挖掘：可視化處理文本情感分析數(shù)據(jù) 156
4.5.1  準(zhǔn)備CSV文件 156
4.5.2  可視化兩個(gè)劇本的情感分析數(shù)據(jù) 157
第5章  繪制餅狀圖 161
5.1  繪制基本的餅狀圖 162
5.1.1  繪制簡易的餅狀圖 162
5.1.2  修飾餅狀圖 164
5.1.3  突出顯示某個(gè)餅狀圖的部分 165
5.1.4  為餅狀圖添加圖例 166
5.1.5  使用餅狀圖可視化展示某地區(qū)程序員的工齡 166
5.1.6  繪制多個(gè)餅狀圖 167
5.1.7  繪制多系列餅狀圖 171
5.1.8  繪制圈狀餅狀圖 171
5.1.9  繪制環(huán)狀餅狀圖 172
5.1.10  繪制半餅狀圖 173
5.1.11  使用庫pandas、numpy 和matplotlib繪制餅狀圖 174
5.2  爬取熱門電影信息并制作可視化分析餅狀圖 174
5.2.1  創(chuàng)建MySQL數(shù)據(jù)庫 174
5.2.2  爬取并分析電影數(shù)據(jù) 176
5.3  機(jī)器學(xué)習(xí)實(shí)戰(zhàn)：Scikit-Learn聚類分析并可視化處理 179
5.3.1  準(zhǔn)備餅狀圖 179
5.3.2  聚類處理 180
5.3.3  生成統(tǒng)計(jì)柱狀圖 180
5.4  可視化展示名著《西游記》中出現(xiàn)頻率多的文字 182
5.4.1  單元測試文件 182
5.4.2  GUI界面 182
5.4.3  設(shè)置所需顯示的出現(xiàn)頻率 185
第6章  繪制其他圖形 187
6.1  繪制雷達(dá)圖 188
6.1.1  創(chuàng)建極坐標(biāo)圖 188
6.1.2  設(shè)置極坐標(biāo)的正方向 188
6.1.3  繪制一個(gè)基本的雷達(dá)圖 189
6.1.4  繪制XX戰(zhàn)隊(duì)2020絕地求生戰(zhàn)績的雷達(dá)圖 190
6.1.5  使用雷達(dá)圖比較兩名研發(fā)部同事的能力 191
6.1.6  繪制汽車性能雷達(dá)圖 192
6.1.7  使用pygal繪制雷達(dá)圖 193
6.1.8  繪制主流編程語言的雷達(dá)圖 194
6.2  繪制熱力圖 195
6.2.1  繪制熱力圖的函數(shù) 195
6.2.2  繪制一個(gè)簡單的熱力圖 197
6.2.3  使用庫matplotlib繪制熱力圖 197
6.3  將Excel文件中的地址信息可視化為交通熱力圖 199
6.3.1  將地址轉(zhuǎn)換為JS格式 199
6.3.2  將JS地址轉(zhuǎn)換為坐標(biāo) 199
6.3.3  在地圖中顯示地址的熱力信息 201
6.4  使用熱點(diǎn)圖可視化展示電視劇的收視率 202
6.4.1  爬蟲爬取電視劇資料 202
6.4.2  使用熱點(diǎn)圖實(shí)現(xiàn)可視化 204
6.5  行人重識(shí)別并繪制行走熱力圖 207
6.5.1  安裝第三方庫pytorch 208
6.5.2  編寫識(shí)別程序和繪圖程序 208
6.6  繪制詞云圖 210
6.6.1  繪制B站詞云圖 210
6.6.2  繪制知乎詞云圖 211
6.7  使用熱力圖可視化展示某城市的房價(jià)信息 212
6.7.1  準(zhǔn)備數(shù)據(jù) 212
6.7.2  使用熱力圖可視化展示信息 213
第7章  商業(yè)應(yīng)用：電影票房數(shù)據(jù)可視化 217
7.1  需求分析 218
7.2  模塊架構(gòu) 218
7.3  爬蟲抓取數(shù)據(jù) 219
7.3.1  分析網(wǎng)頁 219
7.3.2  破解反爬 220
7.3.3  構(gòu)造請求頭 223
7.3.4  實(shí)現(xiàn)具體爬蟲功能 224
7.3.5  將爬取的信息保存到數(shù)據(jù)庫 226
7.4  數(shù)據(jù)可視化分析 227
7.4.1  電影票房TOP10 227
7.4.2  電影評分TOP10 229
7.4.3  電影人氣TOP10 230
7.4.4  每月電影上映數(shù)量 231
7.4.5  每月電影票房 233
7.4.6  中外票房對比 234
7.4.7  名利雙收TOP10 236
7.4.8  叫座不叫好TOP10 237
7.4.9  電影類型分布 238
第8章  商業(yè)應(yīng)用：房地產(chǎn)市場數(shù)據(jù)可視化 241
8.1  背景介紹 242
8.2  需求分析 242
8.3  模塊架構(gòu) 242
8.4  系統(tǒng)設(shè)置 243
8.4.1  選擇版本 243
8.4.2  保存日志信息 244
8.4.3  設(shè)置創(chuàng)建的文件名 244
8.4.4  設(shè)置抓取城市 245
8.4.5  處理區(qū)縣信息 247
8.5  破解反爬機(jī)制 249
8.5.1  定義爬蟲基類 249
8.5.2  瀏覽器用戶代理 250
8.5.3  在線IP代理 251
8.6  爬蟲抓取信息 251
8.6.1  設(shè)置解析元素 251
8.6.2  爬取二手房信息 252
8.6.3  爬取樓盤信息 255
8.6.4  爬取小區(qū)信息 258
8.6.5  抓取租房信息 262
8.7  數(shù)據(jù)可視化 266
8.7.1  爬取數(shù)據(jù)并保存到數(shù)據(jù)庫 266
8.7.2  可視化濟(jì)南市房價(jià)貴的4個(gè)小區(qū) 270
8.7.3  可視化濟(jì)南市主要地區(qū)的房價(jià)均價(jià) 271
8.7.4  可視化濟(jì)南市主要地區(qū)的房源數(shù)量 272
8.7.5  可視化濟(jì)南市各區(qū)的房源數(shù)量所占百分比 274
第9章  商業(yè)應(yīng)用：交通數(shù)據(jù)可視化 277
9.1  系統(tǒng)架構(gòu)分析 278
9.2  從CSV文件讀取數(shù)據(jù) 278
9.2.1  讀取顯示CSV文件中的前3條騎行數(shù)據(jù) 278
9.2.2  讀取顯示CSV文件中指定列的數(shù)據(jù) 283
9.2.3  用統(tǒng)計(jì)圖可視化CSV文件中的數(shù)據(jù) 283
9.2.4  選擇指定數(shù)據(jù) 284
9.3  日期相關(guān)操作 290
9.3.1  統(tǒng)計(jì)每個(gè)月的騎行數(shù)據(jù) 290
9.3.2  展示某街道前5天的騎行數(shù)據(jù)信息 291
9.3.3  統(tǒng)計(jì)周一到周日每天的數(shù)據(jù) 292
9.3.4  使用matplotlib圖表可視化展示統(tǒng)計(jì)數(shù)據(jù) 293
第10章  商業(yè)應(yīng)用：招聘信息  可視化 297
10.1  系統(tǒng)背景介紹 298
10.2  系統(tǒng)架構(gòu)分析 298
10.3  系統(tǒng)設(shè)置 299
10.4  網(wǎng)絡(luò)爬蟲 299
10.4.1  建立和數(shù)據(jù)庫的連接 300
10.4.2  設(shè)置HTTP請求頭 User-Agent 300
10.4.3  抓取信息 301
10.4.4  將抓取的信息添加到 數(shù)據(jù)庫 302
10.4.5  處理薪資數(shù)據(jù) 303
10.4.6  清空數(shù)據(jù)庫數(shù)據(jù) 304
10.4.7  執(zhí)行爬蟲程序 304
10.5  信息分離統(tǒng)計(jì) 304
10.5.1  根據(jù)“工作經(jīng)驗(yàn)”分析 數(shù)據(jù) 305
10.5.2  根據(jù)“工作地區(qū)”分析 數(shù)據(jù) 306
10.5.3  根據(jù)“薪資水平”分析 數(shù)據(jù) 307
10.5.4  根據(jù)“學(xué)歷水平”分析 數(shù)據(jù) 308
10.6  數(shù)據(jù)可視化 309
10.6.1  Flask Web架構(gòu) 309
10.6.2  Web主頁 311
10.6.3  數(shù)據(jù)展示頁面 312
10.6.4  數(shù)據(jù)可視化頁面 314