詳談軟件測試中的動態(tài)測試
在軟件測試中,動態(tài)測試就是通過選擇適當?shù)臏y試用例,實際運行所測程序,比較實際運行結(jié)果和預期結(jié)果,以找出錯誤。動態(tài)測試分為結(jié)構(gòu)測試與功能測試。在結(jié)構(gòu)測試中常采用語句測試、分支測試或路徑測試。作為動態(tài)測試工具,它應能使所測試程序有控制地運行,自動地監(jiān)視、記錄、統(tǒng)計程序的運行情況。典型方法是在所測試程序中插入檢測各語句的執(zhí)行次數(shù)、各分支點、各路徑的探針(probe),以便統(tǒng)計各種覆蓋情況。有些程序設計語言的源程序清單中沒有標號,在進行靜態(tài)分析或動態(tài)測試時,還要重新對語句進行編號,以便能標志各分支點和路徑。在有些程序的測試中,往往要統(tǒng)計各個語句執(zhí)行時的cPU時間,以便對時間花費最多的語句或程序段進行優(yōu)化。
1. 測試覆蓋監(jiān)視程序
主要用在結(jié)構(gòu)測試中,可以監(jiān)視測試的實際覆蓋程度。主要的工作有:分析并輸出每一可執(zhí)行語句的執(zhí)行特性;中國自學編程網(wǎng)整理發(fā)布分析并輸出各分支或各條路徑的執(zhí)行特性;計算并輸出程序中謂詞的執(zhí)行特性;為此,測試覆蓋監(jiān)視程序的工作過程分為以下三個階段:
(1) 對所測試程序做預處理。如在程序的分支點和匯合點插入“執(zhí)行計數(shù)探針”;在非簡單賦值語句(相對于賦常數(shù)值或下標計算等簡單賦值語句而言)后插入“記憶變量值探針”,記錄變量的首次賦值、末次賦值、最小值、最大值。以及在循環(huán)語句中插入“記憶控制變量值探針”,記錄循環(huán)控制變量的首次賦值、末次賦值、最小值、最大值。
(2)編譯預處理后的源程序,運行目標程序。在運行過程中,利用探針,監(jiān)視、檢查程序的動態(tài)行為,收集與統(tǒng)計有關信息。
(3) 一組測試后,可以根據(jù)要求,輸出某一語句的執(zhí)行次數(shù),某一轉(zhuǎn)移發(fā)生的次數(shù),某賦值語句的數(shù)值范圍,某循環(huán)控制變量的數(shù)據(jù)范圍,某子程序運行的時間、所調(diào)用次數(shù)等。從而發(fā)現(xiàn)在程序中從未執(zhí)行的語句,不應該執(zhí)行而實際執(zhí)行了的語句,應該執(zhí)行但實際沒有執(zhí)行的語句,以及發(fā)現(xiàn)不按預定要求終止的循環(huán)、下標值越界、除數(shù)為零等等異常情況。
2. 斷言處理程序
“斷言”是指變量應滿足的條件。例如,I<10,A(6)>O等。在所測試源程序中,在指定位置按一定格式,用注釋語句寫出的斷言叫做斷言語句。在程序執(zhí)行時,對照斷言語句檢查事先指定的斷言是否成立?梢詭椭鷱碗s系統(tǒng)的檢驗、調(diào)試和維護。
斷言分局部性斷言和全局性斷言兩類。局部性斷言,是指在程序的某一位置上,例如,重要的循環(huán)或過程的入口和出口處,或者在一些可能引起異常的關鍵算法之前設置的斷言語句。例如在賦值語句A—B/z之前,設置局部性斷言語句:
C ASSERT L()CAL(Z<>O)
全局性斷言,是指在程序運行過程中自始至終都適用的斷言。例如,變量I、J、K只能取O到100之間的值,變量M、N只能取2、4、6、8四個值等。全局性斷言寫在程序的說明部分。描述格式為
C ASSERT VALUES(I,J,K)(O:100)
C ASSERT VALUES(M,N)(2,4,6,8)
程序員在每個變量、數(shù)組的說明之后,都可寫上反映其全局特性的斷言。
動態(tài)斷言處理程序的工作過程如下:
(1)動態(tài)斷言處理程序?qū)φZ言源程序做預處理,為注釋語句中的每一個斷言插入一段相應的檢驗程序。
(2)運行經(jīng)過預處理的程序,檢驗程序?qū)z查程序的實際運行結(jié)果與斷言所規(guī)定的邏輯狀態(tài)是否一致。對于局部性斷言,每當程序執(zhí)行到這個位置時,相應的檢驗程序就要工作;對于全局性斷言,在每次變量被賦值后,相應的檢驗程序就進行工作。
動態(tài)斷言處理程序還要統(tǒng)計檢驗的結(jié)果(即斷言成立或不成立的次數(shù)),在發(fā)現(xiàn)斷言不成立的時候,還要記錄當時的現(xiàn)場信息,如有關變量的狀態(tài)等。處理程序還可按測試人員的要求,在某個斷言不成立的次數(shù)已達指定值時中止程序的運行,并輸出統(tǒng)計報告。
(3)一組測試結(jié)束后,程序輸出統(tǒng)計結(jié)果、現(xiàn)場信息,供測試人員分析。
3. 符號執(zhí)行程序
符號執(zhí)行法是一種介于程序測試用例執(zhí)行與程序正確性證明之間的方法。它使用了一個專用的程序,對輸入的源程序進行解釋。在解釋執(zhí)行時,所有的輸入都以符號形式輸入到程序中,這些輸入包括基本符號,數(shù)字及表達式等。符號執(zhí)行的結(jié)果,可以有兩個用途:其一是可以檢查公式的執(zhí)行結(jié)果是否達到程序預期的目的;其二是通過程序的符號執(zhí)行,產(chǎn)生程序的路徑,為進一步自動生成測試數(shù)據(jù)提供條件。
解釋程序在對象源程序的判定點計算謂詞。一個條件語句if……then…else的兩個分支在一般情況下需要進行并行計算。語法路徑的分支形成一棵“執(zhí)行樹”,樹中每一個結(jié)點都是一個表示執(zhí)行到該結(jié)點時累加判定的謂詞。一旦解釋程序?qū)ο笤闯绦虻拿恳粭l語法路徑都進行了符號計算,就會對每一條路徑給出一組輸出,它是用輸入再加上遍歷這條路徑所必須滿足的條件的謂詞組這兩者的符號形式表示的。實際上,這種輸出包含了程序功能的定義。在理想情形下,這種輸出可以自動地與可用機器執(zhí)行的程序所要具備的功能進行比較。否則可用手工進行比較。由于語法路徑的數(shù)目可能很大,再加上其中有許多是不可達路徑,這時可對執(zhí)行樹進行修剪。但是修剪時必須特別小心,不要把“重要”路徑無意中修剪掉。另外,還有一個問題:如果對象源程序中包含有一個循環(huán),而循環(huán)的終止取決于輸入的值,那么執(zhí)行樹就會是無窮的,這時,必須加以人工干預,進行某種形式的動態(tài)修剪,以恢復解釋執(zhí)行。
符號執(zhí)行更有用的一個結(jié)果是用于產(chǎn)生測試數(shù)據(jù)。符號執(zhí)行的各種語法路徑輸出的累加謂詞組(只要它是可解的)定義了一組等價類,每一等價類又定義了遍歷相應路徑的輸出,可依據(jù)這種信息來選擇測試數(shù)據(jù)。尋找好的測試數(shù)據(jù)就等于尋找語義(即可達)路徑,中國自學編程網(wǎng)整理發(fā)布它屬于語法路徑的子集,因此,可依據(jù)這種信息來選擇測試數(shù)據(jù)。
符號執(zhí)行方法還可以度量測試覆蓋程度。如果路徑謂詞的析取值為真(true),則該測試用例的集合就“覆蓋”了源程序。如果不是這樣,該析取值的取假(false),表示源程序有沒有測試到的區(qū)域。
4. 除了覆蓋分析這個最重要的特性外,下列動態(tài)特性也經(jīng)常作為測試的結(jié)果予以分析
(1)調(diào)節(jié)分析:確定所測程序哪些部分執(zhí)行次數(shù)最多,哪些部分執(zhí)行次數(shù)最少,甚至未執(zhí)行過。
(2)成本估算:確所測程序哪些部分執(zhí)行開銷最大。
(3)時間分析:報告某一程序或其部分程序的cPu執(zhí)行時間。
(4)資源利用:分析與硬件和系統(tǒng)軟件相關的資源利用情況。