數(shù)據(jù)采集與預處理

第1章 概述
1.1 大數(shù)據(jù)采集
1.1.1 大數(shù)據(jù)來源
1.1.2 大數(shù)據(jù)采集方式
1.1.3 數(shù)據(jù)預處理
1.2 網(wǎng)絡爬蟲原理和分類
1.2.1 爬蟲原理
1.2.2 爬蟲分類
1.2.3 常用爬蟲工具
1.3 網(wǎng)絡爬蟲法律規(guī)范
1.3.1 數(shù)據(jù)隱私保護
1.3.2 Robots協(xié)議
1.3.3 法律法規(guī)
本章小結
本章習題
第2章 Python基礎
2，1 Python環(huán)境搭建
2.1.1 Python解釋器
2.1.2 PyCharm的安裝
2.2 Python基礎
2.2.1 Python語法基礎
2.2.2 數(shù)據(jù)類型
2.2.3 程序結構
2.2.4 函數(shù)
2.2.5 面向?qū)ο?br /> 本章小結
本章習題
第3章 靜態(tài)網(wǎng)頁爬取
3.1 HTTP協(xié)議概述
3.1.1 請求響應模型
3.1.2 請求報文
3.1.3 響應報文
3.2 使用Requests庫提取網(wǎng)頁數(shù)據(jù)
3.2.1 Requests庫的安裝
3.2.2 Requests庫的請求方法
3.2.3 使用Requests庫發(fā)送GET請求
3.2.4 使用Requests庫發(fā)送POST請求
3.2.5 Requests庫的響應對象
3.2.6 HTTP狀態(tài)碼
3.2.7 定制請求頭
3.2.8 Requests庫發(fā)送GET請求的通用代碼
3.3 使用urllib庫提取網(wǎng)頁數(shù)據(jù)
3.3.1 使用urllib庫發(fā)送GET請求
3.3.2 使用urllib庫發(fā)送POST請求
3.3.3 urllib庫的用戶代理
3.4 案例1 QQ表情包圖片爬取
3.4.1 任務描述
3.4.2 任務分析
3.4.3 任務實現(xiàn)
3.5 案例 2手機號碼歸屬地查詢
3.5.1 任務描述
3.5.2 任務分析
3.5.3 任務實現(xiàn)
本章小結
本章習題
第4章 網(wǎng)頁解析
4.1 使用BeautifulSoup解析網(wǎng)頁
4.1.1 BeautifulSoup庫的安裝
4.1.2 BeautifulSoup解析器
……
第5章 數(shù)據(jù)存儲
第6章 動態(tài)網(wǎng)頁爬取
第7章 Scrpay框架初探
第8章 Scrpay框架深入
第9章 數(shù)據(jù)預處理
第10章 招聘網(wǎng)站數(shù)據(jù)分析
參考文獻