Python核心技術(shù)實(shí)戰(zhàn)詳解

目　　錄
第 1章　正則表達(dá)式　1
1．1　基本語(yǔ)法　2
1．1．1　普通字符　2
1．1．2　非打印字符　2
1．1．3　特殊字符　3
1．1．4　使用小括號(hào)指定分組　6
1．1．5　限定符　7
1．1．6　定位符　8
1．1．7　限定范圍和否定　9
1．1．8　運(yùn)算符優(yōu)先級(jí)　9
1．1．9　擴(kuò)展表示法　9
1．2　使用re模塊中的庫(kù)函數(shù)　10
1．2．1　re模塊中的庫(kù)函數(shù)和屬性　10
1．2．2　使用函數(shù)compile()　11
1．2．3　使用函數(shù)match()　11
1．2．4　使用函數(shù)search()　13
1．2．5　使用函數(shù)findall()　14
1．2．6　使用函數(shù)sub()和subn()　15
1．2．7　使用函數(shù)split()　16
1．2．8　使用擴(kuò)展符號(hào)　16
1．3　使用Pattern對(duì)象　17
1．4　正則表達(dá)式模式　17
第 2章　網(wǎng)絡(luò)編程　22
2．1　套接字編程　23
2．1．1　Socket庫(kù)中的內(nèi)置函數(shù)和
屬性　23
2．1．2　socket對(duì)象的內(nèi)置函數(shù)和
屬性　24
2．1．3　使用socket建立TCP“客戶
端/服務(wù)器端”連接　26
2．1．4　使用套接字建立UDP“客戶
端/服務(wù)器端”連接　29
2．2　socketserver編程　30
2．2．1　socketserver模塊基礎(chǔ)　30
2．2．2　socketserver對(duì)象　32
2．2．3　使用socketserver創(chuàng)建TCP
“客戶端/服務(wù)器端”
程序　32
2．2．4　使用ThreadingTCPServer創(chuàng)
建“客戶端/服務(wù)器端”通信
程序　33
2．3　使用select模塊實(shí)現(xiàn)I/O多路
復(fù)用　34
2．3．1　select模塊概述　34
2．3．2　I/O多路復(fù)用并實(shí)現(xiàn)讀/寫(xiě)
分離　36
2．3．3　使用select實(shí)現(xiàn)一個(gè)可
并發(fā)的服務(wù)器端　37
2．3．4　在Linux系統(tǒng)中使用
epoll()　38
2．4　urllib包　39
2．4．1　urllib包概述　39
2．4．2　使用urllib．request模塊　39
2．4．3　使用urllib．parse模塊　41
2．5　使用HTTP包　42
2．5．1　使用http．client模塊　43
2．5．2　使用HTTPConnection對(duì)象
訪問(wèn)指定網(wǎng)站　44
2．5．3　以客戶端的形式同HTTP
服務(wù)交互　45
2．6　收發(fā)電子郵件　47
2．6．1　開(kāi)發(fā)支持POP3郵件協(xié)議的
程序　47
2．6．2　開(kāi)發(fā)支持SMTP郵件協(xié)議
的程序　49
2．6．3　使用email庫(kù)　51
2．7　開(kāi)發(fā)FTP程序　53
2．7．1　Python和FTP　53
2．7．2　創(chuàng)建一個(gè)FTP客戶端　53
2．8　解析XML　55
2．8．1　使用xml．etree．ElementTree
模塊　55
2．8．2　SAX解析方法　59
2．8．3　使用DOM解析方法　62
2．8．4　使用xml．parsers．expat
模塊　65
2．9　解析JSON數(shù)據(jù)　67
2．9．1　類(lèi)型轉(zhuǎn)換　67
2．9．2　編碼和解碼　68
第3章　多線程開(kāi)發(fā)　75
3．1　_thread模塊　76
3．1．1　_thread模塊概述　76
3．1．2　使用_thread模塊　76
3．2　threading模塊　77
3．2．1　threading模塊的核心
方法　77
3．2．2　使用Thread對(duì)象　77
3．2．3　使用Lock和RLock
對(duì)象　80
3．2．4　使用Condition對(duì)象　85
3．2．5　使用Semaphore和
BoundedSemaphore對(duì)象　88
3．2．6　使用Event對(duì)象　90
3．2．7　使用Timer對(duì)象　92
3．2．8　使用local對(duì)象　93
3．2．9　使用Barrier對(duì)象　94
3．3　使用進(jìn)程庫(kù)multiprocessing　95
3．3．1　使用Process　95
3．3．2　使用Pipe和Queue
對(duì)象　97
3．3．3　使用Connection對(duì)象　99
3．3．4　使用共享對(duì)象Shared　99
3．3．5　使用Manager對(duì)象　101
3．3．6　使用Proxy對(duì)象　102
3．3．7　使用進(jìn)程池對(duì)象Pool　103
3．3．8　實(shí)現(xiàn)Actor并發(fā)編程　107
3．4　使用線程優(yōu)先級(jí)隊(duì)列模塊
queue　109
3．4．1　模塊queue中的常用
方法　109
3．4．2　基本FIFO隊(duì)列　112
3．4．3　LIFO隊(duì)列　113
3．4．4　優(yōu)先級(jí)隊(duì)列　113
3．4．5　輪詢多個(gè)線程隊(duì)列　113
3．5　使用模塊subprocess創(chuàng)建進(jìn)程　115
3．5．1　全新的run()方法　115
3．5．2　舊版本中的高級(jí)API　116
3．5．3　使用類(lèi)Popen創(chuàng)建進(jìn)程　117
第4章　Tkinter圖形化界面開(kāi)發(fā)　120
4．1　Tkinter開(kāi)發(fā)基礎(chǔ)　121
4．1．1　第 一個(gè)Tkinter程序　121
4．1．2　向窗口中添加組件　121
4．2　Tkinter控件開(kāi)發(fā)　122
4．2．1　Tkinter控件概覽　122
4．2．2　使用按鈕控件　123
4．2．3　使用文本框控件　124
4．2．4　使用菜單控件　126
4．2．5　使用標(biāo)簽控件　127
4．2．6　使用單選按鈕和復(fù)選框
控件　128
4．2．7　使用繪圖控件　129
4．3　事件處理　131
4．3．1　Tkinter事件基礎(chǔ)　131
4．3．2　動(dòng)態(tài)繪圖程序　134
4．3．3　制作一個(gè)計(jì)算器　136
4．4　實(shí)現(xiàn)對(duì)話框效果　137
4．4．1　創(chuàng)建消息框　137
4．4．2　創(chuàng)建輸入對(duì)話框　138
4．4．3　創(chuàng)建“打開(kāi)/保存文件”
對(duì)話框　139
4．4．4　創(chuàng)建顏色選擇對(duì)話框　140
4．4．5　創(chuàng)建自定義對(duì)話框　141
4．4．6　開(kāi)發(fā)一個(gè)記事本程序　142
4．5　使用偏函數(shù)　144
4．5．1　什么是偏函數(shù)　145
4．5．2　桌面天氣預(yù)報(bào)程序　146
4．6　開(kāi)發(fā)一個(gè)資源管理器　147
第5章　數(shù)據(jù)持久化　151
5．1　操作SQLite3數(shù)據(jù)庫(kù)　152
5．1．1　sqlite3模塊介紹　152
5．1．2　使用sqlite3模塊操作
SQLite3數(shù)據(jù)庫(kù)　157
5．1．3　SQLite和Python的
類(lèi)型　159
5．1．4　事務(wù)控制　163
5．1．5　通過(guò)Tkinter和SQLite3
實(shí)現(xiàn)圖書(shū)管理系統(tǒng)　164
5．2　操作MySQL數(shù)據(jù)庫(kù)　167
5．2．1　搭建PyMySQL環(huán)境　167
5．2．2　實(shí)現(xiàn)數(shù)據(jù)庫(kù)連接　167
5．2．3　創(chuàng)建數(shù)據(jù)庫(kù)表　168
5．2．4　數(shù)據(jù)庫(kù)插入操作　169
5．2．5　數(shù)據(jù)庫(kù)查詢操作　169
5．2．6　數(shù)據(jù)庫(kù)更新操作　170
5．2．7　數(shù)據(jù)庫(kù)刪除操作　171
5．2．8　執(zhí)行事務(wù)　171
5．2．9　通過(guò)Tkinter與MySQL開(kāi)發(fā)
客戶通信錄系統(tǒng)　172
5．3　使用MariaDB數(shù)據(jù)庫(kù)　179
5．3．1　搭建MariaDB數(shù)據(jù)庫(kù)
環(huán)境　179
5．3．2　在Python程序中使用
MariaDB數(shù)據(jù)庫(kù)　181
5．3．3　使用MariaDB創(chuàng)建MySQL
數(shù)據(jù)庫(kù)　183
5．4　使用MongoDB數(shù)據(jù)庫(kù)　185
5．4．1　搭建MongoDB環(huán)境　185
5．4．2　在Python程序中使用
MongoDB數(shù)據(jù)庫(kù)　186
5．5　使用ORM操作數(shù)據(jù)庫(kù)　188
5．5．1　Python和ORM　189
5．5．2　使用SQLAlchemy　189
5．5．3　使用mongoengine　193
第6章　Pygame游戲開(kāi)發(fā)　195
6．1　安裝Pygame　196
6．2　Pygame開(kāi)發(fā)基礎(chǔ)　197
6．2．1　Pygame框架中的模塊　197
6．2．2　事件操作　199
6．2．3　顯示模式設(shè)置　201
6．2．4　字體處理　202
6．2．5　像素和顏色處理　203
6．2．6　使用Surface繪制圖像　204
6．2．7　使用pygame．draw繪圖
函數(shù)　204
6．3　經(jīng)典小游戲?qū)崙?zhàn)　206
6．3．1　開(kāi)發(fā)一個(gè)俄羅斯方塊
游戲　206
6．3．2　仿微信打飛機(jī)游戲　213
6．3．3　傳統(tǒng)貪吃蛇游戲和智能
貪吃蛇游戲　217
6．3．4　推箱子游戲　226
6．3．5　吃蘋(píng)果游戲　232
第7章　數(shù)據(jù)可視化　236
7．1　使用Matplotlib　237
7．1．1　搭建Matplotlib環(huán)境　237
7．1．2　初級(jí)繪圖　238
7．1．3　自定義散點(diǎn)圖樣式　241
7．1．4　繪制柱狀圖　242
7．1．5　繪制多幅子圖　247
7．1．6　繪制曲線　249
7．1．7　繪制隨機(jī)漫步圖　254
7．1．8　通過(guò)大數(shù)據(jù)分析某年最高
溫度和最低溫度　257
7．1．9　在Tkinter中使用Matplotlib
繪制圖表　258
7．2　使用Pygal庫(kù)　259
7．2．1　安裝Pygal庫(kù)　260
7．2．2　使用Pygal庫(kù)模擬
擲骰子　260
7．3　讀/寫(xiě)處理CSV文件　262
7．3．1　CSV模塊介紹　263
7．3．2　操作CSV文件　265
7．3．3　提取CSV數(shù)據(jù)并保存到
MySQL數(shù)據(jù)庫(kù)中　268
7．3．4　提取CSV數(shù)據(jù)并保存到
SQLite數(shù)據(jù)庫(kù)中　271
7．4　使用Pandas庫(kù)　272
7．4．1　安裝Pandas庫(kù)　272
7．4．2　從CSV文件讀取數(shù)據(jù)　272
7．4．3　選擇指定數(shù)據(jù)　277
7．4．4　日期相關(guān)操作　280
7．5　使用NumPy庫(kù)　285
7．5．1　安裝NumPy庫(kù)　285
7．5．2　數(shù)組對(duì)象　285
7．5．3　使用通用函數(shù)　289
7．5．4　在NumPy庫(kù)中使用
Matplotlib庫(kù)　294
第8章　Django Web開(kāi)發(fā)　296
8．1　引言　297
8．2　Django開(kāi)發(fā)基礎(chǔ)　297
8．2．1　搭建Django環(huán)境　297
8．2．2　常用的Django命令　298
8．2．3　第 一個(gè)Django項(xiàng)目　299
8．2．4　在URL中傳遞參數(shù)　301
8．2．5　使用模板　303
8．2．6　使用表單　307
8．2．7　實(shí)現(xiàn)基本的數(shù)據(jù)庫(kù)操作　308
8．3　使用Django后臺(tái)系統(tǒng)開(kāi)發(fā)一個(gè)
博客系統(tǒng)　309
8．4　開(kāi)發(fā)一個(gè)新聞聚合系統(tǒng)　311
8．4．1　基本設(shè)置　312
8．4．2　獲取聚合信息　312
8．4．3　視圖處理　316
8．4．4　模板文件　318
8．5　開(kāi)發(fā)一個(gè)在線商城系統(tǒng)　321
8．5．1　系統(tǒng)設(shè)置　321
8．5．2　前臺(tái)商城展示模塊　322
8．5．3　購(gòu)物車(chē)模塊　325
8．5．4　訂單模塊　329
第9章　Flask Web開(kāi)發(fā)　333
9．1　Flask開(kāi)發(fā)基礎(chǔ)　334
9．1．1　Django和Flask的
對(duì)比　334
9．1．2　安裝Flask　334
9．1．3　第 一個(gè)Flask Web程序　335
9．2　使用Flask開(kāi)發(fā)Web程序　337
9．2．1　傳遞URL參數(shù)　337
9．2．2　使用會(huì)話和cookie　339
9．2．3　使用Flask-Script擴(kuò)展　340
9．2．4　使用模板　341
9．2．5　使用Flask-Bootstrap
擴(kuò)展　343
9．2．6　使用Flask-Moment擴(kuò)展
本地化日期和時(shí)間　345
9．3　表單操作　347
9．3．1　使用Flask-WTF擴(kuò)展　347
9．3．2　文件上傳　350
9．4　使用數(shù)據(jù)庫(kù)　351
9．4．1　Python數(shù)據(jù)庫(kù)框架　351
9．4．2　會(huì)員注冊(cè)與登錄　351
9．4．3　使用Flask-SQLAlchemy
管理數(shù)據(jù)庫(kù)　354
9．5　收發(fā)電子郵件　356
9．5．1　使用Flask-Mail擴(kuò)展　356
9．5．2　使用SendGrid發(fā)送
郵件　359
9．6　通過(guò)Flask、MySQL和SqlAlchemy開(kāi)發(fā)信息發(fā)布系統(tǒng)　361
9．6．1　使用Virtualenv創(chuàng)建虛擬
環(huán)境　361
9．6．2　使用Flask實(shí)現(xiàn)數(shù)據(jù)庫(kù)
遷移　362
9．6．3　具體實(shí)現(xiàn)　363
第 10章　網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)　370
10．1　網(wǎng)絡(luò)爬蟲(chóng)基礎(chǔ)　371
10．2　開(kāi)發(fā)簡(jiǎn)單的網(wǎng)絡(luò)爬蟲(chóng)應(yīng)用
程序　371
10．3　使用爬蟲(chóng)框架Scrapy　375
10．3．1　Scrapy框架基礎(chǔ)　375
10．3．2　搭建Scrapy環(huán)境　376
10．4　綜合實(shí)戰(zhàn)——桌面壁紙抓取
系統(tǒng)　377
10．4．1　創(chuàng)建項(xiàng)目　377
10．4．2　系統(tǒng)設(shè)置　377
10．4．3　創(chuàng)建數(shù)據(jù)庫(kù)　377
10．4．4　聲明需要格式化的
字段　379
10．4．5　實(shí)現(xiàn)保存功能的類(lèi)　379
10．4．6　實(shí)現(xiàn)具體的爬蟲(chóng)　380
10．5　大數(shù)據(jù)實(shí)戰(zhàn)——抓取知乎數(shù)據(jù)并
分析　383
10．5．1　系統(tǒng)簡(jiǎn)介　383
10．5．2　檢測(cè)“Redis”的狀態(tài)　383
10．5．3　賬號(hào)模擬登錄　383
10．5．4　實(shí)現(xiàn)具體抓取功能　386
10．5．5　大數(shù)據(jù)分析　390
10．6　大數(shù)據(jù)實(shí)戰(zhàn)——抓取大眾點(diǎn)評(píng)
數(shù)據(jù)并分析　391
10．6．1　系統(tǒng)配置　391
10．6．2　實(shí)現(xiàn)數(shù)據(jù)庫(kù)模塊　394
10．6．3　實(shí)現(xiàn)爬蟲(chóng)模塊　398
10．6．4　大數(shù)據(jù)分析：提取指定
類(lèi)型商家的信息　406
10．6．5　大數(shù)據(jù)分析：提取數(shù)據(jù)到
Excel表格中　406
10．6．6　大數(shù)據(jù)分析：創(chuàng)建價(jià)格
條形圖　408
10．6．7　大數(shù)據(jù)分析：創(chuàng)建用戶
男女比例和VIP比例柱
形圖　408
10．6．8　大數(shù)據(jù)分析：創(chuàng)建用戶
位置分布餅形圖　410
10．6．9　大數(shù)據(jù)分析：創(chuàng)建指定商
家點(diǎn)評(píng)信息的詞云圖　410