軟件測試經(jīng)驗與教訓

譯者序
序
前言
致謝
第1章 測試員的角色 1
經(jīng)驗1：測試員是項目的前燈 1
經(jīng)驗2：測試員的使命決定要做
的一切 2
經(jīng)驗3：測試員為很多客戶服務 3
經(jīng)驗4：測試員發(fā)現(xiàn)的信息會
“打擾”客戶 4
經(jīng)驗5：迅速找出重要程序問題 4
經(jīng)驗6：跟著程序員走 5
經(jīng)驗7：詢問一切，但不一定外露 5
經(jīng)驗8：測試員關注失效，客戶才能
關注成功 5
經(jīng)驗9：不會發(fā)現(xiàn)所有程序問題 6
經(jīng)驗10：當心“完備的”測試 6
經(jīng)驗11：通過測試不能保證質量 7
經(jīng)驗12：永遠別做看門人 7
經(jīng)驗13：當心測試中的不關我事理論 8
經(jīng)驗14：當心成為過程改進小組 8
經(jīng)驗15：別指望任何人會理解測試，
或理解測試員需要什么條件
才能搞好測試 9
第2章 按測試員的方式思考 11
經(jīng)驗16：測試運用的是認識論 11
經(jīng)驗17：研究認識論有助于更好測試 12
經(jīng)驗18：認知心理學是測試的基礎 12
經(jīng)驗19：測試在測試員的頭腦中 13
經(jīng)驗20：測試需要推斷，并不只是
做輸出與預期結果的比較 14
經(jīng)驗21：優(yōu)秀測試員會進行技術性、創(chuàng)造
性、批判性和實用性地思考 14
經(jīng)驗22：黑盒測試并不是基于
無知的測試 15
經(jīng)驗23：測試員不只是游客 15
經(jīng)驗24：所有測試都試圖回答某些問題 16
經(jīng)驗25：所有測試都基于模型 16
經(jīng)驗26：直覺是不錯的開始，但又是
糟糕的結束 16
經(jīng)驗27：為了測試，必須探索 17
經(jīng)驗28：探索要求大量思索 17
經(jīng)驗29：使用誘導推斷邏輯發(fā)現(xiàn)推測 18
經(jīng)驗30：使用猜想與反駁邏輯評估產(chǎn)品 19
經(jīng)驗31：需求是重要人物所關心的質量
或條件 19
經(jīng)驗32：通過會議、推導和參照發(fā)現(xiàn)
需求 20
經(jīng)驗33：既要使用顯式規(guī)格說明，也要
使用隱式規(guī)格說明 20
經(jīng)驗34：“它沒有問題”真正的含義是，
它看起來在一定程度上滿足
部分需求 21
經(jīng)驗35：最后，測試員所能得到的只是
對產(chǎn)品的印象 22
經(jīng)驗36：不要將試驗與測試混淆起來 22
經(jīng)驗37：當測試復雜產(chǎn)品時：陷入
與退出 22
經(jīng)驗38：運用試探法快速產(chǎn)生測試思路 23
經(jīng)驗39：測試員不能避免偏向，但是可以
管理偏向 23
經(jīng)驗40：如果自己知道自己不聰明，就更
難被愚弄 24
經(jīng)驗41：如果遺漏一個問題，檢查這種遺漏
是意外還是策略的必然結果 25
經(jīng)驗42：困惑是一種測試工具 25
經(jīng)驗43：清新的眼光會發(fā)現(xiàn)失效 26
經(jīng)驗44：測試員要避免遵循過程，
除非過程先跟隨自己 26
經(jīng)驗45：在創(chuàng)建測試過程時，避免
“1287” 26
經(jīng)驗46：測試過程的一個重要成果，
是更好、更聰明的測試員 27
經(jīng)驗47：除非重新發(fā)明測試，否則
不能精通測試 27
第3章 測試手段 29
經(jīng)驗48：關注測試員、覆蓋率、潛在問題、
活動和評估的組合測試手段 30
經(jīng)驗49：關注測試員的基于人員的
測試手段 31
經(jīng)驗50：關注測試內(nèi)容的基于覆蓋率的
測試手段 32
經(jīng)驗51：關注測試原因（針對風險測試）
的基于問題的測試手段 36
經(jīng)驗52：關注測試方法的基于活動的
測試手段 37
經(jīng)驗53：關注測試是否通過的基于評估
的測試手段 38
經(jīng)驗54：根據(jù)自己的看法對測試
手段分類 39
第4章 程序錯誤分析 57
經(jīng)驗55：文如其人 57
經(jīng)驗56：測試員的程序錯誤分析會推動
改正所報告的錯誤 57
經(jīng)驗57：使自己的錯誤報告成為一種
有效的銷售工具 58
經(jīng)驗58：錯誤報告代表的是測試員 59
經(jīng)驗59：努力使錯誤報告有更高的
價值 59
經(jīng)驗60：產(chǎn)品的任何項目相關人員都
應該能夠報告程序錯誤 60
經(jīng)驗61：引用別人的錯誤報告時要小心 60
經(jīng)驗62：將質量問題作為錯誤報告 60
經(jīng)驗63：有些產(chǎn)品的項目相關人員不能
報告程序錯誤，測試員就是
他們的代理 61
經(jīng)驗64：將受到影響的項目相關人員的
注意力轉移到有爭議的
程序錯誤上 61
經(jīng)驗65：決不要利用程序錯誤跟蹤系統(tǒng)
監(jiān)視程序員的表現(xiàn) 61
經(jīng)驗66：決不要利用程序錯誤跟蹤系統(tǒng)
監(jiān)視測試員的表現(xiàn) 62
經(jīng)驗67：及時報告缺陷 62
經(jīng)驗68：永遠不要假設明顯的程序錯誤
已經(jīng)寫入報告 62
經(jīng)驗69：報告設計錯誤 63
經(jīng)驗70：看似極端的缺陷是潛在的
安全漏洞 64
經(jīng)驗71：使冷僻用例不冷僻 64
經(jīng)驗72：小缺陷也值得報告和修改 65
經(jīng)驗73：時刻明確嚴重等級和優(yōu)先等級
之間的差別 66
經(jīng)驗74：失效是錯誤征兆，不是錯誤本身 66
經(jīng)驗75：針對看起來很小的代碼錯誤
執(zhí)行后續(xù)測試 67
經(jīng)驗76：永遠都要報告不可重現(xiàn)的錯誤，
這樣的錯誤可能是時間炸彈 68
經(jīng)驗77：不可重現(xiàn)程序錯誤是可重現(xiàn)的 68
經(jīng)驗78：注意錯誤報告的處理成本 69
經(jīng)驗79：特別處理與工具或環(huán)境有關的
程序錯誤 70
經(jīng)驗80：在報告原型或早期個人版本的
程序錯誤之前，要先征得同意 71
經(jīng)驗81：重復錯誤報告是能夠自我解決
的問題 71
經(jīng)驗82：每個程序錯誤都需要單獨
的報告 72
經(jīng)驗83：歸納行是錯誤報告中最重要
的部分 72
經(jīng)驗84：不要夸大程序錯誤 73
經(jīng)驗85：清楚地報告問題，但不要試圖
解決問題 73
經(jīng)驗86：注意自己的語氣。所批評的每個人
都會看到報告 74
經(jīng)驗87：使自己的報告具有可讀性，即使
對象是勞累和暴躁的人 75
經(jīng)驗88：提高報告撰寫技能 75
經(jīng)驗89：如果合適，使用市場開發(fā)或技術
支持數(shù)據(jù) 76
經(jīng)驗90：相互評審錯誤報告 76
經(jīng)驗91：與將閱讀錯誤報告的
程序員見面 76
經(jīng)驗92：最好的方法可能是向程序員演示
所發(fā)現(xiàn)的程序錯誤 77
經(jīng)驗93：當程序員說問題已經(jīng)解決時，
要檢查是否真的沒有問題了 77
經(jīng)驗94：盡快檢驗程序錯誤修改 77
經(jīng)驗95：如果修改出現(xiàn)問題，應與
程序員溝通 78
經(jīng)驗96：錯誤報告應該由測試員封存 78
經(jīng)驗97：不要堅持要求修改所有程序
錯誤，要量力而行 78
經(jīng)驗98：不要讓延遲修改的程序
錯誤消失 79
經(jīng)驗99：測試惰性不能成為程序錯誤
修改推遲的原因 79
經(jīng)驗100：立即對程序錯誤延遲
決定上訴 80
經(jīng)驗101：如果決定據(jù)理力爭，就一定
要贏！ 80
第5章 測試自動化 81
經(jīng)驗102：加快開發(fā)過程，而不是試圖在
測試上省錢 82
經(jīng)驗103：拓展測試領域，不要不斷重復
相同的測試 83
經(jīng)驗104：根據(jù)自己的背景選擇自動化
測試策略 84
經(jīng)驗105：不要強求100%的自動化 84
經(jīng)驗106：測試工具并不是策略 85
經(jīng)驗107：不要通過自動化使無序情況
更嚴重 85
經(jīng)驗108：不要把手工測試與自動化測試
等同起來 86
經(jīng)驗109：不要根據(jù)測試運行的頻率來估
計測試的價值 87
經(jīng)驗110：自動化的回歸測試發(fā)現(xiàn)少部分
程序錯誤 87
經(jīng)驗111：在自動化測試時考慮什么樣的
程序錯誤沒有發(fā)現(xiàn) 88
經(jīng)驗112：差的自動化測試的問題是沒有
人注意 88
經(jīng)驗113：捕獲回放失敗 90
經(jīng)驗114：測試工具也有程序錯誤 91
經(jīng)驗115：用戶界面變更 92
經(jīng)驗116：根據(jù)兼容性、熟悉程度和服務
選擇GUI測試工具 92
經(jīng)驗117：自動回歸測試消亡 93
經(jīng)驗118：測試自動化是一種軟件
開發(fā)過程 94
經(jīng)驗119：測試自動化是一種重要投資 95
經(jīng)驗120：測試自動化項目需要程序設計、
測試和項目管理方面的技能 95
經(jīng)驗121：通過試點驗證可行性 96
經(jīng)驗122：請測試員和程序員參與測試
自動化項目 96
經(jīng)驗123：設計自動化測試以推動評審 97
經(jīng)驗124：在自動化測試設計上不要
吝嗇 97
經(jīng)驗125：避免在測試腳本中使用
復雜邏輯 98
經(jīng)驗126：不要只是為了避免重復編碼而
構建代碼庫 98
經(jīng)驗127：數(shù)據(jù)驅動的自動化測試更便于
運行大量測試變種 98
經(jīng)驗128：關鍵詞驅動的自動化測試更便于
非程序員創(chuàng)建測試 99
經(jīng)驗129：利用自動化手段生成測試輸入 100
經(jīng)驗130：將測試生成與測試執(zhí)行分開 101
經(jīng)驗131：使用標準腳本語言 101
經(jīng)驗132：利用編程接口自動化測試 102
經(jīng)驗133：鼓勵開發(fā)單元測試包 104
經(jīng)驗134：小心使用不理解測試的測試
自動化設計人員 104
經(jīng)驗135：避免使用不尊重測試的測試
自動化設計人員 105
經(jīng)驗136：可測試性往往是比測試自動化
更好的投資 106
經(jīng)驗137：可測試性是可視性和控制 106
經(jīng)驗138：盡早啟動測試自動化 107
經(jīng)驗139：為集中式測試自動化小組
明確章程 108
經(jīng)驗140：測試自動化要立即見效 108
經(jīng)驗141：測試員擁有的測試工具會比所
意識到的多 109
第6章 測試文檔 111
經(jīng)驗142：為了有效地應用解決方案，
需要清楚地理解問題 112
經(jīng)驗143：不要使用測試文檔模板：除非
可以脫離模板，否則模板
就沒有用 112
經(jīng)驗144：使用測試文檔模板：模板能夠
促進一致的溝通 113
經(jīng)驗145：使用IEEE標準829作為測試
文檔 113
經(jīng)驗146：不要使用IEEE標準829 114
經(jīng)驗147：在決定要構建的產(chǎn)品之前先分析
需求，這一點既適用于軟件也同
樣適用于文檔 116
經(jīng)驗148：為了分析測試文檔需求，可采
用類似以下給出的問題清單
進行調(diào)查 117
經(jīng)驗149：用簡短的語句歸納出核心
文檔需求 120
第7章 與程序員交互 121
經(jīng)驗150：理解程序員怎樣思考 121
經(jīng)驗151：獲得程序員的信任 122
經(jīng)驗152：提供服務 123
經(jīng)驗153：測試員的正直和能力需要尊重 123
經(jīng)驗154：將關注點放在產(chǎn)品上，
而不是人上 124
經(jīng)驗155：程序員喜歡談論自己的工作。
應該問他們問題 125
經(jīng)驗156：程序員樂于通過可測試性
提供幫助 126
第8章 管理測試項目 129
經(jīng)驗157：建設一種服務文化 129
經(jīng)驗158：不要嘗試建立一種控制文化 130
經(jīng)驗159：要發(fā)揮耳目作用 130
經(jīng)驗160：測試經(jīng)理管理的是提供測試服務
的子項目，不是開發(fā)項目 131
經(jīng)驗161：所有項目都會演變。管理良好的
項目能夠很好地演變 131
經(jīng)驗162：總會有很晚的變更 132
經(jīng)驗163：項目涉及功能、可靠性、時間和
資金之間的折衷 132
經(jīng)驗164：讓項目經(jīng)理選擇項目生命周期 133
經(jīng)驗165：瀑布生命周期把可靠性與時間
對立起來 134
經(jīng)驗166：進化生命周期把功能與時間
對立起來 135
經(jīng)驗167：愿意在開發(fā)初期將資源分配
給項目團隊 135
經(jīng)驗168：合同驅動的開發(fā)不同于尋求
市場的開發(fā) 136
經(jīng)驗169：要求可測試性功能 137
經(jīng)驗170：協(xié)商版本開發(fā)進度計劃 137
經(jīng)驗171：了解程序員在交付版本之前會
做什么（以及不會做什么） 138
經(jīng)驗172：為被測版本做好準備 138
經(jīng)驗173：有時測試員應該拒絕測試
某個版本 138
經(jīng)驗174：使用冒煙測試檢驗版本 139
經(jīng)驗175：有時正確的決策是停止測試，
暫停改錯，并重新設計軟件 139
經(jīng)驗176：根據(jù)實際使用的開發(fā)實踐調(diào)整
自己的測試過程 140
經(jīng)驗177：“項目文檔是一種有趣的幻想：
有用，但永遠不足” 141
經(jīng)驗178：測試員除非要用，否則
不要索要 141
經(jīng)驗179：充分利用其他信息源 141
經(jīng)驗180：向項目經(jīng)理指出配置管理問題 142
經(jīng)驗181：程序員就像龍卷風 143
經(jīng)驗182：好的測試計劃便于后期變更 144
經(jīng)驗183：只要交付工作制品，就會
出現(xiàn)測試機會 145
經(jīng)驗184：做多少測試才算夠？這方面還
沒有通用的計算公式 145
經(jīng)驗185：“足夠測試”意味著“有足夠的
信息可供客戶做出好決策” 145
經(jīng)驗186：不要只為兩輪測試做出預算 146
經(jīng)驗187：為一組任務確定進度計劃，估計
每個任務所需的時間 146
經(jīng)驗188：承擔工作的人應該告訴測試經(jīng)理
完成該任務需要多長時間 147
經(jīng)驗189：在測試員與開發(fā)人員之間沒有
正確的比例 148
經(jīng)驗190：調(diào)整任務和不能勝任的人員 148
經(jīng)驗191：輪換測試員的測試對象 149
經(jīng)驗192：盡量成對測試 149
經(jīng)驗193：為項目指派一位問題查找高手 150
經(jīng)驗194：確定測試的階段計劃，特別是
探索式測試的階段計劃 150
經(jīng)驗195：分階段測試 151
經(jīng)驗196：通過活動日志來反映對測試員
工作的干擾 151
經(jīng)驗197：定期狀態(tài)報告是一種強
有力的工具 152
經(jīng)驗198：再也沒有比副總裁掌握統(tǒng)計
數(shù)據(jù)更危險的了 153
經(jīng)驗199：要小心通過程序錯誤數(shù)度量
項目進展 154
經(jīng)驗200：使用的覆蓋率度量越獨立，
了解的信息越多 154
經(jīng)驗201：利用綜合計分牌產(chǎn)生考慮
多個因素的狀態(tài)報告 155
經(jīng)驗202：以下是周狀態(tài)報告的推薦
結構 156
經(jīng)驗203：項目進展表是另一種展示
狀態(tài)的有用方法 157
經(jīng)驗204：如果里程碑定義得很好，
里程碑報告很有用 158
經(jīng)驗205：不要簽署批準產(chǎn)品的發(fā)布 159
經(jīng)驗206：不要簽字承認產(chǎn)品經(jīng)過測試
達到測試經(jīng)理的滿意程度 159
經(jīng)驗207：如果測試經(jīng)理要編寫產(chǎn)品發(fā)布
報告，應描述測試工作和結果，
而不是自己對該產(chǎn)品的看法 159
經(jīng)驗208：在產(chǎn)品最終發(fā)布報告中列出
沒有排除的程序錯誤 159
經(jīng)驗209：有用的發(fā)布報告應列出批評者
可能指出的10個最糟糕的問題 160
第9章 測試小組的管理 161
經(jīng)驗210：平庸是一種保守期望 161
經(jīng)驗211：要把自己的員工當作執(zhí)行經(jīng)理 162
經(jīng)驗212：閱讀自己員工完成的錯誤報告 163
經(jīng)驗213：像評估執(zhí)行經(jīng)理那樣評估
測試員 163
經(jīng)驗214：如果測試經(jīng)理確實想知道實際
情況，可與員工一起測試 164
經(jīng)驗215：不要指望別人能夠高效處理
多個項目 165
經(jīng)驗216：積累自己員工的專業(yè)領域知識 165
經(jīng)驗217：積累自己員工相關技術方面的
專門知識 166
經(jīng)驗218：積極提高技能 166
經(jīng)驗219：瀏覽技術支持日志 166
經(jīng)驗220：幫助新測試員獲得成功 167
經(jīng)驗221：讓新測試員對照軟件核對文檔 167
經(jīng)驗222：通過正面測試使新測試員
熟悉產(chǎn)品 167
經(jīng)驗223：讓測試新手在編寫新錯誤報告
之前，先改寫老的錯誤報告 168
經(jīng)驗224：讓新測試員在測試新程序錯誤
之前，先重新測試老程序錯誤 168
經(jīng)驗225：不要派測試新手參加幾乎完成
的項目 169
經(jīng)驗226：員工的士氣是一種重要資產(chǎn) 169
經(jīng)驗227：測試經(jīng)理不要讓自己被濫用 170
經(jīng)驗228：不要隨意讓員工加班 171
經(jīng)驗229：不要讓員工被濫用 172
經(jīng)驗230：創(chuàng)造培訓機會 172
經(jīng)驗231：錄用決策是最重要的決策 173
經(jīng)驗232：在招募期間利用承包人爭
取回旋余地 173
經(jīng)驗233：謹慎把其他小組拒絕的人
吸收到測試小組中 173
經(jīng)驗234：對測試小組需要承擔的任務，
以及完成這些任務所需的技能
做出規(guī)劃 174
經(jīng)驗235：測試團隊成員要有不同背景 174
經(jīng)驗236：錄用其他渠道的應聘者 175
經(jīng)驗237：根據(jù)大家意見決定錄用 175
經(jīng)驗238：錄用熱愛自己工作的人 175
經(jīng)驗239：錄用正直的人 176
經(jīng)驗240：在面談時，讓應聘者展示期望
有的技能 176
經(jīng)驗241：在面談時，請應聘者通過非正
式能力測驗展示其在工作中
能夠運用的技能 176
經(jīng)驗242：在錄用時，要求應聘者提供
工作樣本 177
經(jīng)驗243：一旦拿定主意就迅速錄用 177
經(jīng)驗244：要將錄用承諾形成文字，
并遵守諾言 177
第10章 軟件測試職業(yè)發(fā)展 179
經(jīng)驗245：確定職業(yè)發(fā)展方向并不懈努力 179
經(jīng)驗246：測試員的收入可以超過程序員
的收入 181
經(jīng)驗247：可大膽改變職業(yè)發(fā)展方向
并追求其他目標 181
經(jīng)驗248：不管選擇走哪條路，都要
積極追求 182
經(jīng)驗249：超出軟件測試拓展自己的
職業(yè)發(fā)展方向 182
經(jīng)驗250：超出公司拓展自己的
職業(yè)發(fā)展方向 183
經(jīng)驗251：參加會議是為了討論 183
經(jīng)驗252：很多公司的問題并不比本公司
的問題少 184
經(jīng)驗253：如果不喜歡自己的公司，就再
找一份不同的工作 184
經(jīng)驗254：為尋找新工作做好準備 184
經(jīng)驗255：積累并維護希望加入的公司
的名單 185
經(jīng)驗256：積累材料 185
經(jīng)驗257：把簡歷當作推銷工具 186
經(jīng)驗258：找一位內(nèi)部推薦人 187
經(jīng)驗259：搜集薪金數(shù)據(jù) 187
經(jīng)驗260：如果是根據(jù)招聘廣告應聘，
應根據(jù)廣告要求調(diào)整自己
的申請 187
經(jīng)驗261：充分利用面談機會 187
經(jīng)驗262：了解準備應聘的招聘公司 188
經(jīng)驗263：在應聘時詢問問題 188
經(jīng)驗264：就自己的工作崗位進行談判 190
經(jīng)驗265：留意人力資源部 191
經(jīng)驗266：學習Perl語言 191
經(jīng)驗267：學習Java或C++ 192
經(jīng)驗268：下載測試工具的演示版
并試運行 192
經(jīng)驗269：提高自己的寫作技巧 192
經(jīng)驗270：提高自己的公眾講話技巧 193
經(jīng)驗271：考慮通過認證 193
經(jīng)驗272：不要幻想只需兩個星期就能夠
得到黑帶柔道段位 194
經(jīng)驗273：有關軟件工程師認可制度的
警告 194
第11章 計劃測試策略 199
經(jīng)驗274：有關測試策略要問的三個基本問題
是“為什么擔心？”、“誰關心？”、
“測試多少？” 199
經(jīng)驗275：有很多種可能的測試策略 199
經(jīng)驗276：實際測試計劃是指導測試過程
的一套想法 200
經(jīng)驗277：所設計的測試計劃要符合
自己的具體情況 201
經(jīng)驗278：利用測試計劃描述在測試策略、
保障條件和工作產(chǎn)品上所做的
選擇 202
經(jīng)驗279：不要讓保障條件和工作產(chǎn)品
影響實現(xiàn)測試策略 202
經(jīng)驗280：如何利用測試用例 202
經(jīng)驗281：測試策略要比測試用例重要 203
經(jīng)驗282：測試策略要解釋測