Python網(wǎng)絡(luò)爬蟲技術(shù)（第2版 微課版）

目錄
項(xiàng)目1　了解爬蟲與Python爬蟲環(huán)境　1
【項(xiàng)目背景】　1
【學(xué)習(xí)目標(biāo)】　1
【思維導(dǎo)圖】　2
任務(wù)1.1　認(rèn)識(shí)爬蟲　2
1.1.1　爬蟲的概念　3
1.1.2　爬蟲的原理　3
1.1.3　爬蟲的合法性與robots協(xié)議　5
任務(wù)1.2　認(rèn)識(shí)反爬蟲　7
1.2.1　網(wǎng)站反爬蟲的目的與手段　8
1.2.2　爬取策略制定　9
任務(wù)1.3　配置Python爬蟲環(huán)境　10
1.3.1　配置PyCharm　11
1.3.2　Python爬蟲相關(guān)庫介紹與配置　20
1.3.3　配置MySQL數(shù)據(jù)庫　21
1.3.4　配置MongoDB數(shù)據(jù)庫　34
小結(jié)　40
實(shí)訓(xùn)　Python爬蟲環(huán)境配置　41
思考題　42
課后習(xí)題　42
項(xiàng)目2　爬蟲基礎(chǔ)知識(shí)準(zhǔn)備　44
【項(xiàng)目背景】　44
【學(xué)習(xí)目標(biāo)】　44
【思維導(dǎo)圖】　45
任務(wù)2.1　認(rèn)識(shí)網(wǎng)頁基礎(chǔ)　46
2.1.1　了解網(wǎng)頁開發(fā)技術(shù)　47
2.1.2　了解網(wǎng)頁的結(jié)構(gòu)　49
2.1.3　了解網(wǎng)頁的分類　56
2.1.4　了解網(wǎng)頁的數(shù)據(jù)結(jié)構(gòu)　59
任務(wù)2.2　認(rèn)識(shí)HTTP　61
2.2.1　熟悉HTTP請(qǐng)求方法與過程　62
2.2.2　熟悉常見HTTP狀態(tài)碼　64
2.2.3　熟悉HTTP頭部信息　65
2.2.4　熟悉Cookie　71
小結(jié)　73
實(shí)訓(xùn)　74
實(shí)訓(xùn)1　創(chuàng)建一個(gè)簡(jiǎn)單的網(wǎng)頁文件　74
實(shí)訓(xùn)2　訪問網(wǎng)站并查看請(qǐng)求和響應(yīng)信息　74
思考題　75
課后習(xí)題　75
項(xiàng)目3　簡(jiǎn)單靜態(tài)網(wǎng)頁爬取—獲取某企業(yè)官網(wǎng)基本信息　77
【項(xiàng)目背景】　77
【學(xué)習(xí)目標(biāo)】　77
【思維導(dǎo)圖】　78
任務(wù)3.1　實(shí)現(xiàn)HTTP請(qǐng)求　79
3.1.1　使用Chrome開發(fā)者工具查看網(wǎng)頁　80
3.1.2　使用urllib 3庫實(shí)現(xiàn)　86
3.1.3　使用Requests庫實(shí)現(xiàn)　90
任務(wù)3.2　解析網(wǎng)頁　95
3.2.1　使用Xpath解析網(wǎng)頁　95
3.2.2　使用Beautiful Soup庫解析網(wǎng)頁　101
3.2.3　使用正則表達(dá)式解析網(wǎng)頁　109
任務(wù)3.3　數(shù)據(jù)存儲(chǔ)　113
3.3.1　將數(shù)據(jù)存儲(chǔ)為JSON文件　113
3.3.2　將數(shù)據(jù)存儲(chǔ)到MySQL數(shù)據(jù)庫　115
小結(jié)　117
實(shí)訓(xùn)　118
實(shí)訓(xùn)1　生成GET請(qǐng)求并獲取 網(wǎng)頁內(nèi)容　118
實(shí)訓(xùn)2　搜索目標(biāo)節(jié)點(diǎn)并提取文本內(nèi)容　119
實(shí)訓(xùn)3　在數(shù)據(jù)庫中建立新表并導(dǎo)入數(shù)據(jù)　119
思考題　120
課后習(xí)題　120
項(xiàng)目4　爬取動(dòng)態(tài)網(wǎng)頁——獲取圖書基本信息　123
【項(xiàng)目背景】　123
【學(xué)習(xí)目標(biāo)】　123
【思維導(dǎo)圖】　124
任務(wù)4.1　逆向分析爬取動(dòng)態(tài)網(wǎng)頁　124
4.1.1　判別網(wǎng)頁類型　125
4.1.2　獲取動(dòng)態(tài)網(wǎng)頁信息　126
任務(wù)4.2　使用Selenium庫爬取動(dòng)態(tài)網(wǎng)頁　129
4.2.1　安裝Selenium庫及下載瀏覽器驅(qū)動(dòng)　130
4.2.2　打開瀏覽對(duì)象并訪問頁面　131
4.2.3　元素選取　132
4.2.4　元素交互　136
4.2.5　頁面操作　138
4.2.6　頁面等待　140
任務(wù)4.3　存儲(chǔ)數(shù)據(jù)至MongoDB數(shù)據(jù)庫　143
4.3.1　MongoDB數(shù)據(jù)庫和MySQL數(shù)據(jù)庫的區(qū)別　143
4.3.2　將數(shù)據(jù)存儲(chǔ)到MongoDB數(shù)據(jù)庫　144
小結(jié)　148
實(shí)訓(xùn)　149
實(shí)訓(xùn)1　生成GET請(qǐng)求并獲取 網(wǎng)頁內(nèi)容　149
實(shí)訓(xùn)2　搜索目標(biāo)節(jié)點(diǎn)并提取文本內(nèi)容　149
思考題　150
課后習(xí)題　150
項(xiàng)目5　模擬登錄—登錄某企業(yè)官網(wǎng)　153
【項(xiàng)目背景】　153
【學(xué)習(xí)目標(biāo)】　153
【思維導(dǎo)圖】　154
任務(wù)5.1　使用表單登錄方法實(shí)現(xiàn)模擬登錄　155
5.1.1　查找提交入口　155
5.1.2　查找并獲取需要提交的表單數(shù)據(jù)　158
5.1.3　使用POST請(qǐng)求方法登錄　162
任務(wù)5.2　使用Cookie登錄方法實(shí)現(xiàn)模擬登錄　165
5.2.1　使用瀏覽器Cookie登錄　165
5.2.2　基于表單登錄的Cookie登錄　168
小結(jié)　170
實(shí)訓(xùn)　171
實(shí)訓(xùn)1　使用表單登錄方法模擬登錄古詩文網(wǎng)　171
實(shí)訓(xùn)2　使用瀏覽器Cookie模擬登錄古詩文網(wǎng)　171
實(shí)訓(xùn)3　基于表單登錄后的Cookie模擬登錄古詩文網(wǎng)　172
思考題　173
課后習(xí)題　173
項(xiàng)目6　終端協(xié)議分析——獲取某音樂PC客戶端和APP數(shù)據(jù)　175
【項(xiàng)目背景】　175
【學(xué)習(xí)目標(biāo)】　176
【思維導(dǎo)圖】　176
任務(wù)6.1　分析PC客戶端抓包　177
6.1.1　了解HTTP Analyzer工具　177
6.1.2　爬取酷我音樂PC客戶端數(shù)據(jù)　180
任務(wù)6.2　分析App抓包　182
6.2.1　了解Fiddler工具　182
6.2.2　分析酷我音樂App　186
小結(jié)　189
實(shí)訓(xùn)　189
實(shí)訓(xùn)1　抓取酷我音樂PC客戶端的 歌曲信息　189
實(shí)訓(xùn)2　監(jiān)控樸樸超市商品實(shí)時(shí)價(jià)格　191
思考題　192
課后習(xí)題　193
項(xiàng)目7　使用Scrapy爬蟲——爬取某企業(yè)官網(wǎng)新聞動(dòng)態(tài)　194
【項(xiàng)目背景】　194
【學(xué)習(xí)目標(biāo)】　194
【思維導(dǎo)圖】　195
任務(wù)7.1　認(rèn)識(shí)Scrapy　196
7.1.1　了解Scrapy爬蟲框架　196
7.1.2　熟悉Scrapy常用命令　198
任務(wù)7.2　通過Scrapy爬取文本信息　199
7.2.1　創(chuàng)建Scrapy爬蟲項(xiàng)目　200
7.2.2　修改items/pipelines腳本　201
7.2.3　編寫spider腳本　204
7.2.4　修改settings腳本　209
任務(wù)7.3　 中間件　212
7.3.1　 下載器中間件　212
7.3.2　 Spider中間件　216
小結(jié)　217
實(shí)訓(xùn)　218
實(shí)訓(xùn)1　爬取“http://www.tipdm.org”的所有新聞動(dòng)態(tài)　218
實(shí)訓(xùn)2　 BdRaceNews爬蟲項(xiàng)目的中間件　219
實(shí)訓(xùn)3　爬取貓眼電影“https://maoyan.com/board/4”的影片信息　220
實(shí)訓(xùn)4　配置Maoyan100爬蟲項(xiàng)目的設(shè)置文件　220
思考題　221
課后習(xí)題　222