Python 網(wǎng)絡(luò)爬蟲(chóng)從入門(mén)到精通

第1章 Python與網(wǎng)絡(luò)爬蟲(chóng)1
1.1 Python語(yǔ)言1
1.1.1 什么是Python1
1.1.2 Python的應(yīng)用現(xiàn)狀2
1.2 Python的安裝與開(kāi)發(fā)環(huán)境配置3
1.2.1 在Windows上安裝3
1.2.2 在Ubuntu和Mac OS上安裝4
1.2.3 PyCharm的使用5
1.2.4 Jupyter Notebook9
1.3 Python基本語(yǔ)法12
1.3.1 HelloWorld與數(shù)據(jù)類(lèi)型12
1.3.2 邏輯語(yǔ)句19
1.3.3 Python中的函數(shù)與類(lèi)22
1.3.4 Python從0到125
1.4 互聯(lián)網(wǎng)、HTTP與HTML25
1.4.1 互聯(lián)網(wǎng)與HTTP25
1.4.2 HTML27
1.5 Hello, Spider!29
1.5.1 第一個(gè)爬蟲(chóng)程序29
1.5.2 對(duì)爬蟲(chóng)的思考31
1.6 調(diào)研網(wǎng)站33
1.6.1 網(wǎng)站的robots.txt與Sitemap33
1.6.2 查看網(wǎng)站所用技術(shù)36
1.6.3 查看網(wǎng)站所有者信息37
1.6.4 使用開(kāi)發(fā)者工具檢查網(wǎng)頁(yè)39
1.7 本章小結(jié)42

第2章 數(shù)據(jù)采集43
2.1 從抓取開(kāi)始43
2.2 正則表達(dá)式44
2.2.1 初見(jiàn)正則表達(dá)式44
2.2.2 正則表達(dá)式的簡(jiǎn)單使用46
2.3 BeautifulSoup49
2.3.1 安裝與上手49
2.3.2 BeautifulSoup的基本使用52
2.4 XPath與lxml55
2.4.1 XPath55
2.4.2 lxml與XPath的使用57
2.5 遍歷頁(yè)面59
2.5.1 抓取下一個(gè)頁(yè)面59
2.5.2 完成爬蟲(chóng)60
2.6 使用API63
2.6.1 API簡(jiǎn)介63
2.6.2 API使用示例65
2.7 本章小結(jié)68

第3章 文件與數(shù)據(jù)存儲(chǔ)69
3.1 Python中的文件69
3.1.1 基本的文件讀寫(xiě)69
3.1.2 序列化72
3.2 字符串72
3.3 Python與圖片74
3.3.1 PIL與Pillow74
3.3.2 Python與OpenCV簡(jiǎn)介76
3.4 CSV文件77
3.4.1 CSV簡(jiǎn)介77
3.4.2 CSV的讀寫(xiě)77
3.5 使用數(shù)據(jù)庫(kù)79
3.5.1 使用MySQL80
3.5.2 使用SQLite381
3.5.3 使用SQLAlchemy83
3.5.4 使用Redis85
3.6 其他類(lèi)型的文檔86
3.7 本章小結(jié)90

第4章 JavaScript與動(dòng)態(tài)內(nèi)容91
4.1 JavaScript與AJAX技術(shù)91
4.1.1 JavaScript語(yǔ)言91
4.1.2 AJAX95
4.2 抓取AJAX數(shù)據(jù)96
4.2.1 分析數(shù)據(jù)96
4.2.2 數(shù)據(jù)提取100
4.3 抓取動(dòng)態(tài)內(nèi)容107
4.3.1 動(dòng)態(tài)渲染頁(yè)面107
4.3.2 使用Selenium107
4.3.3 PyV8與Splash114
4.4 本章小結(jié)118

第5章 表單與模擬登錄119
5.1 表單119
5.1.1 表單與POST119
5.1.2 POST發(fā)送表單數(shù)據(jù)121
5.2 Cookie124
5.2.1 什么是Cookie124
5.2.2 在Python中使用Cookie125
5.3 模擬登錄網(wǎng)站128
5.3.1 分析網(wǎng)站128
5.3.2 通過(guò)Cookie模擬登錄129
5.4 驗(yàn)證碼133
5.4.1 圖片驗(yàn)證碼133
5.4.2 滑動(dòng)驗(yàn)證134
5.5 本章小結(jié)139

第6章 數(shù)據(jù)的進(jìn)一步處理140
6.1 Python與文本分析140
6.1.1 什么是文本分析140
6.1.2 jieba與SnowNLP141
6.1.3 NLTK145
6.1.4 文本分類(lèi)與聚類(lèi)149
6.2 數(shù)據(jù)處理與科學(xué)計(jì)算150
6.2.1 從MATLAB到Python150
6.2.2 NumPy151
6.2.3 Pandas156
6.2.4 Matplotlib163
6.2.5 SciPy與SymPy167
6.3 本章小結(jié)167

第7章 更靈活的爬蟲(chóng)168
7.1 更靈活的爬蟲(chóng)—以微信數(shù)據(jù)抓取為例168
7.1.1 用Selenium抓取Web微信信息168
7.1.2 基于Python的微信API工具172
7.2 更多樣的爬蟲(chóng)175
7.2.1 在BeautifulSoup和XPath之外175
7.2.2 在線爬蟲(chóng)應(yīng)用平臺(tái)179
7.2.3 使用urllib181
7.3 爬蟲(chóng)的部署和管理190
7.3.1 配置遠(yuǎn)程主機(jī)190
7.3.2 編寫(xiě)本地爬蟲(chóng)192
7.3.3 部署爬蟲(chóng)198
7.3.4 查看運(yùn)行結(jié)果199
7.3.5 使用爬蟲(chóng)管理框架200
7.4 本章小結(jié)203

第8章 瀏覽器模擬與網(wǎng)站測(cè)試204
8.1 關(guān)于測(cè)試204
8.1.1 什么是測(cè)試204
8.1.2 什么是TDD205
8.2 Python的單元測(cè)試205
8.2.1 使用unittest205
8.2.2 其他方法208
8.3 使用Python爬蟲(chóng)測(cè)試網(wǎng)站209
8.4 使用Selenium測(cè)試212
8.4.1 Selenium測(cè)試常用的網(wǎng)站交互212
8.4.2 結(jié)合Selenium進(jìn)行單元測(cè)試214
8.5 本章小結(jié)215

第9章 更強(qiáng)大的爬蟲(chóng)216
9.1 爬蟲(chóng)框架216
9.1.1 Scrapy是什么216
9.1.2 Scrapy安裝與入門(mén)218
9.1.3 編寫(xiě)Scrapy爬蟲(chóng)221
9.1.4 其他爬蟲(chóng)框架223
9.2 網(wǎng)站反爬蟲(chóng)224
9.2.1 反爬蟲(chóng)的策略224
9.2.2 偽裝headers225
9.2.3 使用代理228
9.2.4 訪問(wèn)頻率232
9.3 多進(jìn)程與分布式233
9.3.1 多進(jìn)程編程與爬蟲(chóng)抓取233
9.3.2 分布式爬蟲(chóng)235
9.4 本章小結(jié)235

第10章 爬蟲(chóng)實(shí)踐：火車(chē)票余票實(shí)時(shí)提醒236
10.1 程序設(shè)計(jì)236
10.1.1 分析網(wǎng)頁(yè)236
10.1.2 理解返回的JSON格式數(shù)據(jù)的意義238
10.1.3 微信消息推送238
10.1.4 運(yùn)行并查看微信消息243
10.2 本章小結(jié)244

第11章 爬蟲(chóng)實(shí)踐：爬取二手房數(shù)據(jù)并繪制熱力圖245
11.1 數(shù)據(jù)抓取245
11.1.1 分析網(wǎng)頁(yè)245
11.1.2 地址轉(zhuǎn)換成經(jīng)緯度247
11.1.3 編寫(xiě)代碼248
11.1.4 數(shù)據(jù)下載結(jié)果252
11.2 繪制熱力圖252
11.3 本章小結(jié)259

第12章 爬